OpenTelemetry представил стандарт для трассировки LLM, называемый GenAI Semantic Conventions. Это важно для разработчиков, так как решает проблему несовместимости различных инструментов и упрощает процесс интеграции.
Почему это важно для рынка LLM
На сегодняшний день различные инструменты для работы с большими языковыми моделями (LLM), такие как Langfuse, Helicone и Arize, используют собственные форматы трассировки. Например, компании могут записывать информацию о провайдере, модели и количество токенов, но эти данные не могут быть использованы в других системах. Это создает изоляцию и «замок» на поставщиках для разработчиков, что негативно сказывается на гибкости проектов.
Что включает стандарт
Новый стандарт определяет, как правильно именовать spans (единицы трассировки), какие атрибуты должны быть у вызова инструмента и как регистрировать запросы без утечек личной информации. Например, spans теперь должны именоваться в формате {operation} {name}, вместо неформальных вариантов. Это позволяет обеспечить поддержку со стороны всех решений, зависящих от OTel.
В текущей версии стандарта выделяются три типа операций, каждая из которых связана с вызовом LLM: вызов модели, внедрение агента и выполнение инструментов. Для примера, вызов модели может выглядеть так: span.setAttribute('gen_ai.agent.name', 'weather-bot');. Ранее использовавшиеся пути для атрибутов оказались неверными, что затрудняло integration с GenAI-aware backend.
Практическое значение для разработчиков
Основная выгода от внедрения нового стандарта — это возможность избежать проблем с совместимостью и изоляцией инструментов. Теперь разработчики могут уверенно интегрировать различные решения, получая доступ к более чем 100 поддерживаемым бэкендам. Более того, стандарт подчеркивает, что регистрировать содержимое запросов и ответов не следует по умолчанию, что поможет избежать потенциальных проблем с конфиденциальностью.
Если ваша команда работает с LLM, войдите в тренд и изучите GenAI Semantic Conventions. Это поможет вашей инфраструктуре лучше адаптироваться к новым вызовам и сохранить ценную информацию в безопасности.
Следующий шаг — приступить к внедрению стандарта и оценить его влияние на ваши текущие системы в 2024 году. Возможно, вы обнаружите, что открытая спецификация значительно упростит ваше взаимодействие с LLM.