Исследование Microsoft выявило проблемы современных AI-моделей: они не справляются с долгими задачами, вводя до 25% ошибок. Для компаний, рассматривающих автоматизацию бизнес-процессов, это может обернуться значительными потерями.
Контекст исследования
Microsoft провела исследование с участием своих ученых Филиппа Лабана, Тобиаса Шнабля и Дженнифер Невилл, которые решили выяснить, как крупные языковые модели (LLM) справляются с многоэтапными задачами. Они представили свои выводы в предварительной статье с интригующим названием «LLM портят ваши документы при делегировании». В условиях возрастающей популярности AI в различных сферах, такие эти становятся критически важными для бизнеса.Детали исследования
В ходе исследования ученые применили тест DELEGATE-52, который имитирует многоэтапные рабочие процессы в 52 различных профессиональных областях, включая написание кода и химию. Так, для работы с бухгалтерскими документами модели требуется разделить исходный файл на категории и затем объединить их в один файл. Однако оказалось, что современные AI-модели, такие как Gemini 3.1 Pro, Claude 4.6 и GPT 5.4, теряли в среднем 25% содержания документов при 20 взаимодействиях. Ученые установили, что LLM показывают лучшие результаты в программировании, но слабо справляются с задачами, требующими обработки естественного языка. Для того чтобы считаться готовыми к конкретной области работы, модели должны достигать 98% точности. Однако лишь одна из 52 областей — программирование на Python — прошла этот тест.Практические выводы для бизнеса
Для российских и СНГ-компаний эти результаты открывают глаза на ограничения текущих AI-технологий. Если ваша компания планирует интеграцию AI в процессы, важно учитывать вероятность потери данных, особенно при работе с долгосрочными задачами. Рекомендуется оставлять возможность контроля и вмешательства со стороны человека в критически важных процессах, чтобы избежать возможных ошибок.Следующий шаг для Microsoft и других компаний — доработка AI-моделей, чтобы они могли более эффективно обрабатывать сложные многозадачные сценарии без потерь данных.