Google представил концепцию 'достоверного неопределённости' для языковых моделей (LLM), что позволит им делать обоснованные предположения вместо возникновений галлюцинаций. Это важно, так как сокращение ошибок критично для внедрения AI в реальные бизнес-приложения.
Проблема с галлюцинациями
Языковые модели, несмотря на свои достижения, продолжают страдать от галлюцинаций, что является серьезным препятствием для их использования в реальном мире. Эти ошибки вмешиваются в процесс принятия решений, вынуждая разработчиков выбирать между доверием и полезностью. В новой статье исследователи Google обсуждают, как достоверное неопределённость может помочь моделям оценивать свою уверенность во время генерирования ответов.
Что такое 'достоверное неопределённость'?
'Достоверное неопределённость' — это метакогнитивная техника, которая позволят моделям аннотировать свои ответы, указывая на уровень уверенности. Вместо простого 'ответить или отказаться', модели теперь могут использовать фразы вроде 'мой лучший предположение' или 'я не совсем уверен, но думаю, что'. Эта методика позволяет AI делать более точные предположения и при этом информировать пользователя об уровне своей уверенности, чем повышает доверие к результатам.
Сложности и преимущества
Исследования показывают, что попытки снизить количество галлюцинаций увеличивают 'налог полезности'. Это означает, что за попытку улучшить точность разработчики теряют возможность отвечать даже на те вопросы, на которые у модели есть знания. Например, в одном из примеров убирание 25% ошибок в LLM привело к тому, что приходится отказываться от 52% правильных ответов. Таким образом, компании не готовы платить этот 'налог' и оказываются в ситуации, когда модели продолжают выдавать недостоверные сведения.
Что это значит для разработчиков
Для разработчиков AI в России это открывает новые горизонты: теперь они могут интегрировать модели, которые смогут корректно оценивать свою уверенность, что значительно улучшит взаимодействие с пользователем. Так, если ваша компания работает над проектами, связанными с AI, стоит обратить внимание на обучение моделей с использованием этого подхода, чтобы избежать проблем с доверием к выводам.
В дальнейшем ожидается объединение таких технологий в массовые AI-продукты, что сделает их более надежными и удобными для пользователей.