Ai2 представила MolmoWeb, визуального веб-агента с открытыми весами, который способен выполнять задачи, используя 30 000 примеров реальных пользовательских взаимодействий. Релиз важен для разработчиков — теперь они могут использовать полноценный инструмент для создания взаимодействий без закрытых API и с доступом к уникальному обучающему набору данных.
Контекст запуска
Ai2, некоммерческая организация из Сиэтла, известная своими открытыми моделями OLMo, разработала MolmoWeb для решения проблемы, с которой сталкиваются заботливые разработчики: выбор между закрытыми API без возможности аудита и открытыми весами без надлежащего обучающего контента. MolmoWeb поставляется с полным обучающим стеком, который до сих пор не был доступен для других визуальных веб-агентов.
Детали MolmoWeb
MolmoWeb доступен в двух версиях — с 4 миллиардами и 8 миллиардами параметров. Он использует 30 000 задач, записанных человеком, охватывающих более 1 100 сайтов, и 2,2 миллиона пар вопросов-ответов на скриншотах, что составляет крупнейшую в мире публично доступную коллекцию для веб-заданий. Это позволяет детального аудита и воспроизведения результата. Как отметил Тандем Гупта, старший научный сотрудник Ai2: "Модель позволяет переходить от пассивного понимания изображений к активным действиям".
Принцип работы MolmoWeb заключается в работе с браузерными скриншотами. Модель не анализирует HTML-код страниц, а сосредоточена на выполнении задач. Для этого использует текстовые инструкции, текущие скриншоты и историю действий. Она может выполнять действия в любом браузере, в том числе Chrome и Safari.
Преимущества и возможности
Основным отличием MolmoWeb — обучающий набор MolmoWebMix, в который входят 30 000 человеческих маршрутов выполнения задач. Эти эти были получены через специализированное расширение для Chrome, обеспечивающее запись действий пользователей на множестве сайтов. Кроме того, были сгенерированы дополнительные маршруты задач с использованием синтетических этих и анализа изображений. Это дает разработчикам возможность создавать адаптивные интерфейсы, которые могут учиться на реальных примерах.
Значение для разработчиков
Для разработчиков в России MolmoWeb открывает новые горизонты: возможность создания интерактивных приложений и инструментов, способных адаптироваться к изменениям на веб-сайтах. Использование открытого доступа к этим и возможности анализа изображений позволяет упростить процесс разработки и повысить качество веб-взаимодействий. Это может снизить затраты на разработку и ускорить выход продуктов на рынок.
Следующий шаг — это использование MolmoWeb в реальных условиях, что даст разработчикам возможность провести тестирование и оценить эффективность внедрения в своих проектах.