NVIDIA представила технологию конфиденциальных вычислений, обеспечивающую безопасность обработки чувствительных данных в AI-инференсе. Это решение позволит компаниям безопасно обрабатывать данные в средах с высоким уровнем защиты, что особенно важно для личной и корпоративной информации.
Контекст и необходимость в безопасности
С увеличением объемов данных и использования больших языковых моделей (LLM) возрастает необходимость защищенной обработки информации. Технология конфиденциальных вычислений (CC) от NVIDIA позволяет использовать криптографические виртуальные машины и защищенные графические процессоры для обеспечения безопасного выполнения AI-задач. Важно отметить, что эти подходы позволяют поддерживать производительность, минимизируя при этом риски утечек данных.
Технические детали и результаты тестирования
Используя модель nvidia/DeepSeek-R1-0528-NVFP4 с фреймворком TensorRT LLM, NVIDIA провела тесты с различными параметрами. Например, при последовательности длиной 32K для ввода и 1K для вывода с максимальным количеством одновременных запросов до 16 был оценен эффект от использования конфиденциальных вычислений по сравнению с обычными условиями. Результаты показали, что производительность остается высокой, если инференс-фреймворк оптимизирован совместно с средой конфиденциальных вычислений.
Команда NVIDIA измеряла коэффициенты производительности, сравнивая результаты при включенных и выключенных конфиденциальных вычислениях. Они установили, что использование CC влияет на латентность и пропускную способность, однако правильно настроенная среда может свести эти эффекты к минимуму.
Польза для разработчиков AI
Для разработчиков и команд, работающих с AI, внедрение технологий конфиденциальных вычислений от NVIDIA может значительно повысить уровень доверия пользователей и партнеров. При условии защиты данных компании могут реализовывать более сложные и чувствительные решения без страха перед утечками информации. Это особенно актуально для секторов, таких как финансы и здравоохранение, где защита данных клиентов имеет первостепенное значение.
В ближайшие месяцы компании будут тестировать эту технологию на своих платформах, и результаты этих испытаний могут изменить подход к обработке чувствительных данных в IT-среде.