OpenAI представила новую архитектуру WebRTC, специально адаптированную для обеспечения низкой задержки в голосовом ИИ на глобальном уровне. Это оптимизация важна для разработчиков, работающих с облачными решениями, так как она повышает производительность и надежность соединений.
Предыстория и конкурентные решения
Традиционная модель медианой обработки заменилась наRelay-Transceiver архитектуру, что делает её более совместимой с Kubernetes и облачными балансировщиками нагрузки. Для получения конкурентных преимуществ в области низкой задержки, OpenAI адаптировала WebRTC, чтобы минимизировать публичное UDP-выставление и повысить скорость обработки данных.
Архитектура и особенности
Новая архитектура разделяет функции обработки. Легкий релейный уровень принимает входящие пакеты и передает их отдельному транспондеру, который управляет всеми аспектами протокола WebRTC, включая шифрование и жизненный цикл сессии. Это позволяет сократить сложность системы, усилив её стабильность. Как заявили члены технического персонала OpenAI, работа с глобальными соединениями требует быстрых настроек и предсказуемых временных задержек.
В рамках оценки альтернатив был исследован подход с прямым выставлением UDP-портов, однако он породил бы значительные сложности при управлении на средах Kubernetes, где требуется безопасное управление большим количеством публичных портов.
Зачем это нужно разработчикам
С переходом на новую архитектуру OpenAI упрощает процесс разработки и развертывания голосового ИИ. Для разработчиков из СНГ это означает возможность быстрого внедрения высококачественных приложений с низкой задержкой, что важно для взаимодействия с клиентами в реальном времени. С учетом роста спроса на решения с голосовым интерфейсом, такая адаптация может стать решающим фактором для успешного запуска продуктов.
Следующий шаг для OpenAI заключается в продвижении этой архитектуры в уже доступные продукты, такие как API реального времени и ChatGPT голосовой интерфейс, что откроет новые горизонты для разработчиков и пользователей.