ИИ-агент для смартфона Opposable потратил 50 секунд и 17 вызовов инструментов, чтобы включить тёмную тему Android и поставить таймер на пять минут. Проект предлагает передать телефону «виртуальные большие пальцы» ИИ, но первые публичные демонстрации пока больше похожи на аргумент в пользу обычного тапа по экрану.
Как сообщает The Register, Opposable позволяет агенту на компьютере открывать приложения, читать содержимое экрана, нажимать элементы интерфейса и вводить текст на подключённом устройстве. Поддерживаются Android-смартфоны, а iPhone проект предлагает контролировать через компьютер-компаньон: для macOS заявлена бета-версия, для Windows и Linux — вариант с дополнительным оборудованием. Авторы позиционируют систему как способ делегировать телефонные мелочи, а не как специализированный инструмент доступности.
На Android архитектура собрана из вполне знакомых компонентов. Сервис специальных возможностей получает сведения об интерфейсе, скриншоты дают модели визуальный контекст, а модель определяет координаты следующего действия. За распознавание экрана отвечает визуально-языковая модель GUI-Owl 1.5 2B, запущенная через llama.cpp. Выполнение задачи может вести подключённый настольный агент либо локальный агент на самом Android-устройстве.
Правда, ИИ в этой схеме нужен не всегда. Около 40 частых операций — например, установка будильника, отправка сообщения или включение Wi‑Fi — реализованы обычным кодом. Это разумная инженерная развилка: для действий с известным сценарием детерминированная автоматизация быстрее, дешевле и предсказуемее модели, которая каждый раз заново рассматривает экран.
Проблема в том, что именно модельная часть пока выглядит слишком медленной для бытовых задач. В другой демонстрации агенту поручили найти дату запуска Apollo 11 и список членов экипажа. На выполнение ушло почти две минуты, а стоимость запуска составила 0,44 доллара. Для справочного запроса это странная экономика: голосовой помощник, поиск или чат-бот на том же телефоне дадут ответ без длинной цепочки жестов. В третьем примере локальный агент за 96 секунд открыл приложение «Часы» в виртуальном Android и перешёл на вкладку секундомера.
Неубедительна и заявленная надёжность. На восьми задачах, на которых модель не обучали, её запускали в эмуляторе по два раза: задача целиком была выполнена четыре и три раза соответственно. Когда процесс разбили на подцели и после каждого шага сверяли заявленный результат с деревом доступности, получилось по шесть успешных запусков из восьми в каждой серии. То есть даже под присмотром внешней проверки ИИ-агент для смартфона ошибается примерно в четверти случаев.
Для разработчиков это полезная иллюстрация разрыва между эффектным агентным демо и пригодным продуктом. Управление графическим интерфейсом по скриншотам универсально: не нужны API конкретного приложения и интеграции с каждым сервисом. Но универсальность оплачивается задержками, расходом токенов и хрупкостью сценария. Достаточно поменять расположение кнопки, показать системное уведомление или открыть нестандартный экран — и агенту приходится заново интерпретировать ситуацию. Там, где можно вызвать API, использовать deep link или написать короткий нативный сценарий, зрячий агент с эмуляцией пальцев почти наверняка проиграет.
Есть и вопрос безопасности. Для работы на Android потребуется установить APK не из обычного магазина и вручную выдать ему доступ через настройки специальных возможностей — один из самых чувствительных классов разрешений. Сами создатели предупреждают: тот, кто получил токен, может управлять телефоном, поэтому с ним следует обращаться как с паролем. Для корпоративных устройств это означает необходимость оценивать не только модель и стоимость запросов, но и хранение токенов, права на экране блокировки, доступ к банковским приложениям, рабочей почте и одноразовым кодам.
У технологии всё же может быть внятная ниша: помощь пользователям, которым трудно взаимодействовать с сенсорным экраном, тестирование мобильных интерфейсов или выполнение редких кросс-приложенческих задач без готовой интеграции. Но в нынешнем виде ИИ-агент для смартфона скорее демонстрирует цену такой универсальности. Главный вопрос для Opposable не в том, научится ли модель нажимать кнопки, а в том, найдётся ли достаточно задач, где минута ожидания, токены и широкий доступ к экрану действительно лучше пары движений пальцем. Подробности экспериментов и демонстраций опубликованы у .
