Cloudflare представил две новые языковые модели — EuroLLM и Apertus, которые разработаны в Европе. Это важное событие для разработчиков и исследователей, так как обе модели поддерживают более 1500 языков и открыты для использования.
Что такое EuroLLM и Apertus
EuroLLM поддерживает все 24 официальных языка Европейского союза и была разработана при поддержке Horizon Europe, Европейского научного совета и EuroHPC. Модель показала высокую эффективность, обгоняя аналогичные модели на многоязычных тестах и при машинном переводе.
Apertus, что в переводе с латыни означает "открытый", является первой крупной полностью открытой многоязыковой моделью Швейцарии. Она была обучена на более чем 15 триллионах токенов и охватывает 40% данных на языках, отличных от английского. Модель учитывает требования европейского законодательства, таких как GDPR и EU AI Act, что обеспечивает защиту персональных данных и уважение к правам пользователей.
Контекст и важность выбора
Постоянно растущая потребность в многоязычных AI решениях подчеркивает необходимость доступа к разнообразным языковым моделям. Совсем недавно обсуждения о доступе к AI и суверенитете технологий стали более актуальными на фоне атак и ограничений доступа к некоторым моделям в зависимости от региона.
Как отметил CEO Cloudflare Маттью Принс на саммите AI Impact в Индии, децентрализованный доступ к AI критически важен для национальной устойчивости стран. Есть необходимость в выборах, позволяющих не зависеть от одного поставщика.
Что это значит для разработчиков?
Для российских разработчиков это означает, что теперь есть возможность использовать качественные языковые модели, которые могут быть адаптированы для различных приложений — от разработки чат-ботов до создания многоязычных платформ. Новый доступ к моделям EuroLLM и Apertus предоставляет возможность создать инструменты, которые смогут эффективно решать задачи для разных сообществ и конечных пользователей.
Основной вывод: наличие открытых языковых моделей как EuroLLM и Apertus позволяет разработчикам создавать более независимые решения, не полагаясь на узкий круг крупных поставщиков. Если ваша команда работает с многоязычными проектами, стоит изучить эти модели как основу для будущих разработок.
Следующим шагом станет расширение доступности этих моделей для всех желающих, что позволит усилить их внедрение в широкие сегменты рынка.