Стартап из Сан-Франциско Goodfire представил инструмент Silico, позволяющий исследователям и инженерам подробно изучать структуру моделей искусственного интеллекта и настраивать их параметры во время обучения. Этот подход может дать разработчикам более точный контроль над созданием технологий, чем считалось возможным ранее.
Контекст механистической интерпретируемости
Goodfire утверждает, что Silico — первый инструмент подобного рода, которым можно пользоваться на всех этапах разработки ИИ: от создания набора этих до обучения модели. По словам генерального директора компании Эрика Хо, в последние годы наблюдается растущий разрыв между тем, насколько хорошо понятны модели и как широко они внедряются в различные отрасли. "Сейчас мы видим, что не хватает знаний для решения возникающих проблем, связанных с моделями," — заявил Хо в интервью MIT Technology Review.Совместно с ведущими игроками рынка, такими как Anthropic и OpenAI, Goodfire занимается развитием механистической интерпретируемости — техники, позволяющей понять, что происходит внутри модели при выполнении задач, анализируя её нейроны и связи между ними.
Как работает Silico
Инструмент Silico позволяет исследовать отдельные нейроны, а также их группы, и проводить эксперименты для определения их роли. Например, разработчики могут проверить, какие входные эти активируют определённые нейроны и как это влияет на выходные эти модели. Goodfire уже продемонстрировала возможность уменьшать количество "галлюцинаций" — ошибочных выводов моделей — с помощью Silico.Инструмент использует автоматизированные агенты, которые упрощают сложные процессы интерпретируемости. "Теперь агенты достаточно мощные, чтобы выполнять множество задач интерпретируемости, которые ранее выполнялись людьми," — отметил Хо. Это значительно упрощает использование инструмента для конечных пользователей.
Практическое применение для разработчиков
Для разработчиков в российских IT-компаниях Silico может стать важным инструментом в борьбе с непредсказуемыми результатами ИИ, позволяя быстрее находить и исправлять ошибки. С учётом того, что активное внедрение ИИ продолжается, знание о том, как управлять внутренними механизмами моделей, станет критически важным для повышения качественных показателей. Использование Silico может сокращать время на разработку и улучшать производительность моделей, повышая конкурентоспособность компаний на рынке.В будущем Goodfire планирует расширять функционал Silico и внедрять дополнительные инструменты для помощи исследователям в создании более устойчивых ИИ-решений.