Nvidia представила новые возможности для доработки биологических моделей с помощью метода Low-Rank Adaptation (LoRA). Это решение позволяет обучать крупные модели, такие как ESM2 и Evo2, с эффективностью — до 96% в задачах классификации, используя только 1,42% параметров модели. Таким образом, разработчикам теперь доступно мощное средство для работы с большими биологическими данными.
Как работает LoRA
LoRA упрощает процесс дообучения, сохраняя предварительно обученные параметры модели, но добавляет маленькие обучаемые матрицы для улучшения качества. Например, ESM2-3B в сочетании с LoRA достигла точности прогноза вторичной структуры белка Q3/Q8 на уровне 84,80% и 74,30% соответственно, сопоставимой с ведущими конкурентами.
Преимущества использования NVIDIA BioNeMo
С помощью фреймворка NVIDIA BioNeMo пользователи получают доступ к простым в использовании рецептам и автоматическим компонентам, в том числе NVIDIA Transformer Engine (TE) для увеличения скорости обучения. Рецепты также легко интегрируются с популярными библиотеками, такими как PyTorch и Hugging Face, что делает их доступными для широкого круга разработчиков.
К тому же использование всего одной видеокарты RTX 6000 значительно упрощает тренировочный процесс. Например, Evo2-1B в связке с LoRA улучшила точность классификации сплайс-сайтов с 52,3% до 96,6% при снижении неоходимого объёма учебных параметров. Это открывает новые горизонты для разработки инновационных решений в области биоинформатики.
Значение для российского рынка
Для отечественных специалистов в области вычислительной биологии и разработки AI-решений это означает значительное упрощение и удешевление процессов. Возможности, предоставляемые LoRA, могут существенно сократить затраты на облачные вычисления и время разработки, что является ключевым фактором в условиях ограниченного бюджета.
Ведущие российские научные учреждения и стартапы, работающие с биотехнологиями, смогут адаптировать свои текущие разработки к более современным и экономичным методам, что, безусловно, даст преимущество в конкуренции с зарубежными вузами и компаниями.
В ближайшие месяцы можно ожидать появления новых кейсов, демонстрирующих эффективность этих решений в практической биологии.