NVIDIA представила инструмент PAIR (Personal AI Router) — виртуальный маршрутизатор для локального инференса на домашних ПК. Это решение позволяет использовать вычислительные ресурсы нескольких устройств в пределах одной локальной сети, что значительно повышает эффективность обработки задач с применением ИИ.
Зачем это нужно
При наличии нескольких домашних ПК с дискретными графическими картами, таких как GeForce RTX, большинство из них долгое время простаивает. PAIR позволяет задействовать эти ресурсы для выполнения задач машинного обучения без выхода за пределы домашней сети. Это значит, что пользователи смогут более рационально использовать мощность своих устройств, что особенно актуально с учетом растущих требований к вычислительным ресурсам в сфере ИИ.
Технические детали работы PAIR
NVIDIA PAIR работает как сетевой прокси-сервер и маршрутизатор прикладного уровня, автоматически распределяя запросы на инференс между доступными компьютерами. Система учитывает состояние подключенных ПК — их загрузку, предзагрузку моделей и очередь задач.
Для повышения безопасности и оптимизации трафика, вся информация, передаваемая между устройствами, шифруется с помощью mTLS. При запросах маршрут выбирается так, чтобы предотвратить использование нагруженных ПК, что позволяет добиться параллельного выполнения задач.
Практическое применение PAIR
С помощью PAIR можно реализовать мультиагентные процессы, где основной агент генерирует задачи для нескольких субагентов, обеспечивая их параллельное исполнение. Например, в тесте с 5 субагентами на модели Qwen3.6 время выполнения задачи сократилось с 6 минут 18 секунд до 3 минут 48 секунд при использовании двух ПК с GeForce RTX 5090.
Это открывает новые возможности для разработчиков и энтузиастов ИИ, позволяя им создавать более сложные и ресурсоемкие приложения, не прибегая к дорогим облачным ресурсам.
Значение для пользователей
Для разработчиков и как для любителей ИИ использование PAIR станет важным шагом к более экономному и эффективному решению их задач. Возможность объединять ресурсы нескольких ПК на локальной сети снижает затраты и делает технологии ИИ более доступными. Это особенно актуально для стартапов и малых компаний, которым важна экономия затрат на инфраструктуру.
Следующий шаг для NVIDIA — расширение функциональности PAIR, вероятно, с добавлением поддержки новых моделей и оптимизацией работы системы.