OpenAI и Cerebras представили новый режим Ultrafast для модели GPT-5.6 Sol, который позволяет генерировать до 750 токенов в секунду. Это позволяет ускорить обработку запросов до 14 раз по сравнению со стандартным режимом. Для разработчиков это открывает новые горизонты в быстродействии AI-приложений.
Конкуренция в области AI
Технологии обработки естественного языка развиваются с бешеной скоростью. В то время как OpenAI предлагает Ultrafast, другие компании также стремятся улучшить производительность своих моделей. Например, режим Fast в OpenAI API позволяет ускорить процесс до 2,5 раз и стоит вдвое дороже по сравнению с обычным режимом.
Способности Cerebras Wafer-Scale Engine, который является основой нового режима, также отличает его от конкурентов. Каждый чип размером с кремниевую пластину имеет 44 ГБ памяти SRAM, что позволяет значительно сократить время передачи данных между вычислительными блоками.
Что предлагает Ultrafast
Новый режим доступен только ограниченной группе клиентов, и стоимость его использования еще не раскрыта. В сравнении с Fast, который предлагает максимальную скорость в 2,5 раза и стоит $10 за 1 миллион токенов, Ultrafast обещает более высокую скорость без потери качества. В ходе теста Ultrafast успешно прошла 2500 вопросов Humanity’s Last Exam за 11 часов 11 минут, в то время как аналогичному моделированию Claude Fable 5 потребовалось 78 часов.
Компания сделала акцент на том, что режим Ultrafast не является упрощенной моделью, а полноценной версией GPT-5.6, что вызывает интерес и ожидание среди разработчиков.
Практические выводы для разработчиков
Для русскоязычного рынка, где GPU остаются критически важными для AI-разработок, необходимость в более быстрой обработке данных становится все более актуальной. Импортозависимость от определенных технологий также подчеркивает важность оптимизации производительности, что может привести к экономии временных и финансовых ресурсов в проектах компаний.
Ожидается, что OpenAI расширит доступ к новому режиму Ultrafast в ближайшие месяцы. Это станет важным шагом не только для OpenAI, но и для всех разработчиков, работающих с новыми AI-технологиями.