Ben O'Mahony, старший инженер AI в Thoughtworks, разработал новый Language Server Protocol (LSP), который снижает затраты на AI-модели путем использования данных из OpenTelemetry. Это важный шаг для разработчиков, которые стремятся оптимизировать свои рабочие процессы без дополнительных затрат на вычисления.
Контекст и предыстория разработки
На фоне активного роста использования AI в разработке программного обеспечения, многие компании столкнулись с увеличением затрат на вычисления. OpenTelemetry, инструмент для мониторинга, позволяет собирать данные о взаимодействиях с AI-моделями, но до сих пор это не использовалось эффективно в контексте LSP. O'Mahony решил создать адаптивную модель, которая могла бы учесть собранные данные, и таким образом минимизировать затраты на использование AI API.
Как работает новый LSP
LSP, который разработал O'Mahony, использует OpenTelemetry для отслеживания взаимодействий пользователя с AI: принимаемые, отклоняемые или запрашиваемые изменения кода. Этот подход создает непрерывный поток данных, который может быть использован для обучения более дешевых и быстрых моделей, уменьшая зависимости от крупных AI API. O'Mahony отметил, что каждый раз, когда разработчик сохраняет изменения, система автоматически регистрирует данные, что позволяет генерировать ресурсы для обучения.
Что это значит для разработчиков
Новая разработка предлагает российским ИТ-командам возможность снижения затрат на использование AI, особенно в условиях экономических колебаний. С помощью такого LSP можно не только улучшить качество кодирования, но и сократить расходы на AI-модели до 30%. Это особенно актуально для стартапов и малых компаний, которые стремятся оптимизировать свои затраты.
Следующий шаг для O'Mahony — разработка книжного пособия, где он подробно изложит концепции своего подхода к разработке AI-платформ. Интересно, как данные подходы будут интегрированы в корпоративные решения в 2024 году.