Модели BerryLM-XL и BerryLM-v2 от компании RWB заняли 3-е и 5-е места в русскоязычном рейтинге MERA. Это подтверждает высокое качество технологий искусственного интеллекта, разрабатываемых для бизнеса в России.
Рейтинг MERA и его значение
MERA (Multimodal Evaluation for Russian-language Architectures) представляет собой открытый независимый бенчмарк, который оценивает ИИ-модели, работающие с русским языком. Для этого используются фиксированные задания, которые позволяют сравнивать различные решения по единой методике.
Модели BerryLM-XL и BerryLM-v2 были протестированы по 15 заданиям, которые проверяли знания и способность решать логические задачи. Результаты показали, что BerryLM-XL получила интегральную оценку 0,835, что близко к показателям таких моделей, как Anthropic и OpenAI. Эталонный показатель на основе человеческих ответов составил 0,852.
Коммерческое применение и выгода
Модели BerryLM используются в продуктах Wildberries для ИИ-ассистентов, поисковых систем, а также для автоматизации взаимодействия с покупателями и продавцами. По оценкам RWB, использование этих технологий приносит компании более 1 млрд рублей дополнительного годового дохода.
Директор по данным RWB Павел Раваев отметил, что результаты MERA свидетельствуют о реальных возможностях моделей в коммерческом применении и подтверждают их эффективность в повседневных задачах: “Мы дообучаем модели под специфические нужды маркетплейса, что позволяет оптимизировать процессы и улучшать качество сервиса.”
Выводы для рынка ИИ и бизнеса
Для российских компаний, занимающихся разработкой и внедрением ИИ-решений, успех BerryLM в рейтинге MERA означает рост интереса к местным разработкам. Это также может подстегнуть интерес инвесторов и способствовать дальнейшему развитию технологий в стране.
Будущее RWB выглядит многообещающе: в компании намерены продолжать дообучать свои модели и адаптировать их под новые задачи, что открывает перспективы для дальнейшего роста и улучшения производительности.