Google представил новую модель генерации текста под названием DiffusionGemma, способную генерировать текст со скоростью до 1288 токенов в секунду на платформе Nvidia H200. Эта модель использует инновационный подход к генерации текстов — похожий на метод, применяемый в генераторах изображений, что значительно повышает её скорость и качество работы.
Что такое DiffusionGemma
DiffusionGemma — экспериментальная модель, основанная на архитектуре Gemma 4 и выпущенная под лицензией Apache 2.0. В отличие от традиционных языковых моделей, которые генерируют тексты последовательно, DiffusionGemma одновременно обрабатывает блоки из 256 токенов, что позволяет моделям работать с большим количеством информации за меньшее время.
По данным разработки, новая модель достигает в 4 раза большей скорости генерации текста, чем стандартные подходы. На тестировании с размером пакета 1 на одной Nvidia H100 модель достигла скорости 1008 токенов в секунду, а на H200 — 1288 токенов в секунду, что в 6 раз превышает показатели традиционных моделей.
Преимущества самокоррекции и двунаправленный контекст
Одним из ключевых улучшений модели является возможность самокоррекции. В отличие от стандартных автогрегрессивных моделей, которые не могут исправить неверно сгенерированные токены, DiffusionGemma может переоценивать свои выводы и вносить коррективы на следующих итерациях. Это обстоятельство доказало свою эффективность на примере решения судоку, где модель, дообученная на соответствующем наборе данных, достигла 80% успешности при минимизации шагов от 48 до 12.
Что это значит для разработчиков и бизнеса
Для разработчиков и компаний, работающих с текстовой генерацией, внедрение DiffusionGemma может существенно ускорить процессы создания контента и анализа данных. С учетом возможности самокоррекции и высокой скорости генерации, модель предоставит больше возможностей в задачах, требующих быстрой реакции, таких как чат-боты и автоматизация рутинных процессов.
Несмотря на преимуществ, Google подчеркивает, что качество вывода DiffusionGemma ниже, чем у класической Gemma 4, что заставляет компании тщательно выбирать, когда использовать новую модель.
Предстоящие этапы и обновления моделей гарантируют еще более высокое качество и производительность в будущем. На горизонте можно ожидать дополнительные улучшения алгоритмов самокоррекции и оптимизации для различных платформ.