Decisions API OpenAI стала доступна всем клиентам компании: сервис рассчитан на быстрый выбор из вариантов с оценкой уверенности и отвечает за 100–180 миллисекунд вместо привычных для LLM одной—трёх секунд. Для разработчиков это ещё один сигнал, что не каждую задачу нужно отправлять в большой языковой модели: классификация, маршрутизация и простые действия всё чаще уходят в специализированный слой дешёвого ИИ.
О всеобщем запуске, состоявшемся в четверг после анонса на мероприятии для разработчиков 29 сентября, сообщает TechCrunch. В публичной версии OpenAI добавила голосовые и визуальные возможности, а также настроила размещение вычислительных ресурсов по регионам, чтобы сократить задержки не только в одном удачном дата-центре, но и для международных продуктов.
Речь идёт о классе так называемых decision-моделей, или System One-моделей. Они не пишут развёрнутый ответ и не имитируют рассуждение там, где оно не требуется. На входе — набор вариантов или сигналов, на выходе — решение и степень уверенности. Такой подход подходит для проверки входящих запросов, выбора следующего шага в интерфейсе, модерации, скоринга, классификации изображений и других сценариев, где важнее быстро и предсказуемо принять одно из нескольких действий.
По словам руководителя API-продуктов OpenAI Никунджа Ханды, команда увидела модель Jev от стартапа TypeSafe и быстро нашла для подобного подхода множество применений. Вместо отдельной специально откалиброванной модели OpenAI пока использует перенастроенную ChatGPT Luna: компания ускорила инференс и снизила стоимость работы. Ханда прямо оговаривается, что в дальнейшем могут появиться модели, обученные именно под такие задачи, но нынешняя версия, по его оценке, уже закрывает практические потребности.
В пилотах с Box, Datadog, Ramp и Speak заказчики заменяли часть вызовов обычных моделей OpenAI на новый API, повышая пропускную способность. Самый наглядный пример привёл технический директор Speak Эндрю Сю: в сервисе ИИ-репетиторов по языкам интервал между действиями сократился с 1,4 секунды до 0,13 секунды. OpenAI также использовала продукт, чтобы повысить отзывчивость собственного голосового ассистента Dots.
Конкуренция здесь уже далека от лабораторного эксперимента. TypeSafe, основанный бывшим исследователем frontier-лаборатории, недавно получил оценку в 7,6 млрд долларов благодаря Jev — модели, с которой во многом и началось оформление категории. У свежей версии Jev появились поддержка изображений и «умные» условные конструкции. При этом универсального победителя пока нет: публичные индексы AIM System One и Artificial Analysis Decision по-разному оценивают участников. В них выше располагаются D1 Ultra от Liquid и Elephant-1 от Base Lab; Jev занимает седьмое и третье места, а модель OpenAI — восьмое и четырнадцатое соответственно.
Бенчмарки в этой нише особенно легко переоценить. Генеральный директор TypeSafe Диогу Алмейда советует проверять модели на собственных данных, поскольку соотношение точности, цены, калибровки уверенности и скорости зависит от конкретного процесса. Для службы поддержки критичнее не пропустить сложный запрос и вовремя передать его человеку; для антифрода цена ошибки выше скорости; для интерфейсного автодополнения лишние 300 миллисекунд могут испортить пользовательское ощущение. Любопытный тест JevMan, где модели управляют Pac-Man в непрерывном потоке быстрых решений, сейчас возглавляет Jev, но игровой результат не заменяет проверку на реальном продакшене.
Для российских команд, работающих с доступными зарубежными API или строящих похожие контуры на локальных моделях, вывод вполне прикладной. Decisions API OpenAI стоит рассматривать не как замену LLM во всём продукте, а как отдельный инструмент в архитектуре. Большая модель может разобрать неоднозначный диалог, сформировать объяснение или подготовить сложный ответ; более быстрый классификатор — решить, нужно ли вообще делать этот дорогой вызов, куда направить задачу и достаточно ли уверенности для автоматизации. Такая связка снижает задержки и расходы без магии в презентации.
Преимущество OpenAI может проявиться в мультимодальных сценариях. Ханда утверждает, что Luna особенно сильна в классификации изображений и лучше калибрует уверенность; клиенты также просят гибче работать с изображениями на выходе. Следующая планка, которую обсуждает команда, — около 60 миллисекунд. На такой скорости можно думать уже не о единичном запросе пользователя, а об анализе каждого кадра видео или о постоянной реакции в голосовом интерфейсе.
Чем дешевле и быстрее становятся такие модели, тем чаще продуктовые команды будут автоматизировать решения, которые раньше не оправдывали отдельный вызов нейросети. Главный вопрос для рынка не в том, кто красивее выглядит в сводной таблице, а в том, сумеют ли поставщики доказать надёжную калибровку на рискованных задачах. Скорость в 100 миллисекунд полезна лишь тогда, когда система столь же быстро умеет признать: этот случай лучше передать человеку или более мощной модели.
