Успехи ИИ-агентов в программировании сопоставимы с высокими стандартами работы, однако в биологии они страдают от недостатка надежных инструментов. В этом уверены исследователи компании Anthropic, которые представили результаты своего анализа.
Почему ИИ-агенты не справляются с биологией
Создатели ИИ-агентов обнаружили, что проблема заключается не в интеллектуальных способностях самих агентов, а в отсутствии качественных данных для их обучения. Программирование поддерживается хорошо организованной инфрастуктурой — код, API и пакетные менеджеры — что обеспечивает быстрое выполнение задач.
В отличие от этого, биологические данные представлены в устаревших форматах и создают трудности для анализа. Это приводит к тому, что такие базы данных, как NCBI Virus, использующиеся для диагностики и отслеживания вирусов, становятся сложными для работы с ИИ-агентами.
Кейс с анализом вирусов
Важным аспектом исследования является кризис с вспышкой Эболы в ДРК. В этом контексте биологи сталкиваются с необходимостью сравнения геномов нового вируса с историческими, используя устаревшие интерфейсы. Авторы Anthropic используют термин «налог на клики», чтобы описать трудности взаимодействия с такими платформами.
Результаты бенчмарка и решения
Для того чтобы продемонстрировать масштаб проблемы, исследователи создали бенчмарк VirBench, который включает 120 запросов по 40 патогенам. Точность ответов ИИ-агентов варьировалась от 16,9% до 91,3%. Такие результаты подчеркивают не только проблемы с данными, но и нестабильность модели: один и тот же запрос мог выдавать совершенно разные результаты.
Решением этой проблемы стал новый детерминистический инструмент gget virus, который организует данные и позволяет агентам более эффективно выполнять анализ. С его помощью точность ответов агентов возросла до 99,7%.
Практическое значение для разработчиков и исследователей
Для разработчиков и ученых это исследование подчеркивает необходимость создания современных инструментов для работы с биологическими данными. Учитывая, что ИИ-агенты становятся важными игроками в медицинской биологии, создание удобных интерфейсов для их обучения будет определять эффективность работы в этой области.
В заключение, эксперты предупреждают, что в будущем агенты смогут самостоятельно взаимодействовать с более сложными базами данных. Однако для этого необходимо создать для них соответствующую инфраструктуру.