AI-стартап Liquid AI, основанный в 2023 году бывшими учеными MIT, презентовал новую языковую модель LFM2.5-2.6B. Она может функционировать полностью на локальных устройствах — от смартфонов и ноутбуков до Raspberry Pi, что открывает новые возможности для применения AI в местах с ограниченной сетью и в предприятиях, работающих с чувствительной информацией.
Что представляет собой LFM2.5-2.6B
Модель LFM2.5-2.6B содержит 2,6 миллиарда параметров и поддерживает контекстный объем до 128 000 токенов. Она подходит для локальных задач, таких как автоматизация работы и управление документами, а также эффективно работает в условиях ограниченной связи, например, в автомобилях или робототехнике. По данным Liquid AI, на Raspberry Pi модель работает очень быстро, а общая скорость составляет около 220 токенов в секунду на Apple M5 Max и 113 токенов в секунду на AMD Ryzen AI Max+ 395.
Преимущества для бизнеса и разработчиков
Запуск LFM2.5-2.6B может значительно сократить затраты на облачные вычисления для компаний, которые сейчас вынуждены обрабатывать и хранить данные в облаке. Модель также предлагает возможность локальной обработки данных, что снижает риски утечки информации. Например, пользователи могут опробовать модель через мобильное приложение Apollo от Liquid AI, что делает ее доступной для разработчиков на разных уровнях.
Значение для рынка и конкурентов
Liquid AI позиционирует свою модель как альтернативу более крупным, но дорогостоящим решениям. По словам Максима Лабонна, руководителя посттренировочного направления компании, такое решение позволяет упростить доступ к мощным AI-технологиям для небольших медиа-компаний и стартапов, снижая барьеры для входа в рынок. Данный шаг идет вразрез с тенденцией к централизации AI-вычислений на облачных платформах, что делает LFM2.5-2.6B привлекательным продуктом на стартап-рынке.
Прогноз на будущее: Liquid AI продолжит развивать свою технологию и возможно предложит новые улучшения в модели, чтобы конкурировать с более крупными игроками на расстоянии.