OpenAI представил новый WebSocket-режим в своем API для ответов, позволяющий снижать задержку в агентских рабочих процессах до 40%. Это значительно улучшает производительность систем, использующих кодовые агенты и AI в реальном времени.
Контекст изменений
Традиционно API использовали HTTP-запросы, которые создавали задержку из-за необходимости постоянных соединений для каждого этапа обработки. Новый подход включает в себя двустороннее соединение между клиентом и сервером, что сокращает временные затраты на установку соединений. В условиях растущей конкуренции в сфере AI-систем, подобные инновации играют важную роль для разработчиков, стремящихся к оптимизации.
Детали реализации и результаты
Первые тесты показали, что новый режим позволяет увеличить пропускную способность до 1000 транзакций в секунду, а всплески могут достигать 4000 TPS. Разработчики таких платформ, как Vercel и Cursor, отметили до 40% снижения задержки при использовании нового режима. Это очевидное преимущество для систем, которые обрабатывают множество промежуточных запросов.
Габриэль Чуа из OpenAI отметил, что разработчики могут «разогреть» соединение, отправляя системный запрос и определения инструментов заранее. Это также делает новый режим совместимым с технологиями Zero Data Retention (ZDR).
Практическое значение для разработчиков
Для российских разработчиков переход на WebSocket-режим может существенно упростить интеграцию и повысить производительность приложений. Теперь, вместо многократных HTTP-запросов, можно будет использовать одно длительное соединение, что значительно упрощает логику управления во время многошаговых операций. Это также улучшит поддержку потоковых случаев, таких как инкрементальная генерация кода и интерактивное рассуждение.
В ближайшей перспективе стоит ожидать, что другие разработчики тоже начнут внедрять подобные технологии, усиливая конкурентные преимущества на рынке.