Создание ‘пещерного’ стиля общения для Claude от Anthropic позволило сократить использование токенов на 75%. Это особенно важно для разработчиков, работающих с API: сокращение токенов переводится в экономию затрат.
Проблема чрезмерной разговорчивости
Разработчики, работающие с Claude, заметили, что он любит говорить многословно. Например, при запросе на пояснение функции он может начать с длинных вступлений, прежде чем перейти к сути. Это приводит к увеличению затрат в условиях, когда выполняется сотни запросов.
Как работает 'пещерный' навык
Новый навык позволяет Claude отвечать в примитивном стиле общения: без лишних слов и длинных объяснений. Стандартные ответы могут содержать от 180 до 240 токенов, а с ‘пещерным’ навыком — всего от 45 до 70. Такой функционал хорошо подходит для типовых разработческих задач, таких как резюме функций или объяснение ошибок.
Преимущества для разработчиков
На практике, используя ‘пещерный’ режим, можно сократить затраты на API от 60% до 75% в зависимости от типа запроса. Например, при запросах на объяснение кода сокращение достигает 72%. В контексте API затрат, это означает, что при использовании модели Claude 3.5 разница в ценах может составить до $15 за миллион токенов.
Что это значит для вас
Для разработчиков в СНГ это говорит о необходимости применять новое сокращение токенов в проектах, особенно если использование API будет высокое. Это даст возможность значительно снизить расходы и ускорить рабочие процессы, что особенно актуально в условиях конкуренции на рынке IT.
Следующий шаг — это оценка применения нового навыка в реальных проектах и возможности его интеграции в рабочие процессы. Если ‘пещерный’ режим станет обычным явлением, возможности для оптимизации работы с AI значительно расширятся.