Стартап Liquid AI выпустил новый локальный ИИ-агент LFM2.5-8B-A1B, который способен работать на смартфонах и ноутбуках без подключения к облаку. Эта модель особенно интересна благодаря своей способности справляться с многошаговыми задачами, что позволяет ей конкурировать с гораздо более крупными нейросетями.
Особенности новой модели
LFM2.5-8B-A1B имеет 8,3 миллиарда параметров, но активирует только 1,5 миллиарда за раз, что значительно сокращает потребление ресурсов. Например, производительность достигает 253 токенов в секунду на процессоре Apple M5 Max и 146 токенов на Ryzen AI Max+. При этом она потребляет менее 6 ГБ памяти, что делает её доступной для большинства современных смартфонов.
Подход к токенизации и языковая поддержка
В новой версии разработчики вдвое увеличили словарный запас токенизатора — с 65 до 128 тысяч токенов. Это улучшение ускоряет обработку текстов, особенно для неевропейских языков, таких как хинди, тайский и арабский. Для русского языка эффективность токенизации повысилась примерно на 6,4%.
Значение для разработчиков
Модель LFM2.5-8B-A1B может быть полезна для разработчиков, создающих приложения, которые требуют локальной обработки данных без обращения к облакам. Однако следует помнить, что для задач, требующих обширных знаний и ресурсов, пока она недостаточна. С поддержкой таких сред, как llama.cpp и MLX, разработчики смогут легко интегрировать модель в свои приложения.
Следующий шаг для Liquid AI — улучшение модели для обработки более сложных задач и расширение функционала. Также стоит ожидать дальнейшую оптимизацию работы модели на легких устройствах.