PrismML адаптировала малые LLM для умных очков на чипах Qualcomm: речь о 2-миллиардной модели, которая должна работать локально на Snapdragon AR1 Gen 1. Для русскоязычной IT-аудитории это важный маркер: гонка за ИИ в носимых устройствах постепенно уходит от красивых демо в облаке к вопросу, что реально можно посчитать прямо на устройстве.
Разработку показали на Snapdragon Summit в среду, сообщает TechCrunch. Qualcomm продемонстрировала 1-битную модель Bonsai LLM от PrismML, рассчитанную на AI-очки на платформе Snapdragon AR1 Gen 1. Модель настроена на работу с изображением и языком: пользователь может смотреть на объект и спрашивать систему, что находится перед ним, получая ответ без обязательной отправки всего запроса в облако.
PrismML — лаборатория искусственного интеллекта, основанная исследователями из Caltech. Среди советников проекта — Ион Стойка из UC Berkeley, хорошо известный в инфраструктурном и дата-инженерном мире как один из создателей Apache Spark и Ray. Стартап делает ставку не на очередную огромную модель с аппетитом дата-центра, а на сильное сжатие LLM и запуск на уже существующем железе.
Ключевая техническая заявка PrismML звучит довольно дерзко: компания утверждает, что может уменьшать крупные модели примерно в 4 раза, сохраняя почти всю их производительность на стандартных бенчмарках. В случае с очками речь идет о 1-битной Bonsai LLM. Это не означает, что такая модель внезапно заменит облачные флагманы, но для носимых устройств важен другой набор ограничений: энергопотребление, задержка, тепло, стоимость вычислений и приватность данных.
Именно здесь малые LLM выглядят не как компромисс ради экономии, а как отдельный продуктовый класс. Очки не могут вести себя как ноутбук с дискретной видеокартой и не должны зависеть от стабильного соединения каждый раз, когда пользователь спрашивает, что написано на вывеске, где лежит нужный инструмент или что за объект попал в поле зрения. Локальная модель дает меньшую задержку и снижает объем данных, уходящих наружу. Для корпоративных сценариев это может быть не бонусом, а условием допуска: производство, медицина, логистика и офисы с чувствительной информацией не любят устройства, которые без паузы стримят окружающий мир на чужие серверы.
Для Qualcomm этот показ тоже ложится в понятную стратегию. Snapdragon AR1 Gen 1 изначально ориентирован на легкие умные очки и связанные с ними сценарии: камера, голосовые команды, мультимодальные функции, фоновая обработка контекста. Чем больше ИИ-задач можно выполнять на самом устройстве, тем ценнее становится платформа чипмейкера. В идеале производители очков получают не просто процессор, а готовую историю про приватный и отзывчивый ИИ без постоянной аренды облачных вычислений.
Но до рынка здесь еще есть дистанция. TechCrunch отдельно указывает: умные очки с PrismML пока не анонсированы. То есть сейчас это скорее технологический шаг и сигнал партнерам, чем готовый потребительский продукт. Для разработчиков это значит, что рано планировать интеграции под конкретное устройство, но уже стоит смотреть на класс задач, который становится практичным: локальное распознавание сцены, голосовой интерфейс, подсказки в реальном времени, компактные ассистенты для полевых сотрудников.
Главная интрига в том, смогут ли открытые веса и компактные модели стать нормой для периферийного ИИ, а не нишевой демонстрацией на конференциях. Если PrismML и Qualcomm доведут подход до коммерческих устройств, у рынка появится более интересная альтернатива привычной схеме, где пользователь носит датчики на лице, а интеллект живет где-то в дата-центре и просит еще немного вычислений.