NVIDIA представила новый инструмент под названием PAIR (Personal AI Router), который предназначен для маршрутизации запросов на инференс больших языковых моделей между компьютерами в рамках одной локальной сети. Этот виртуальный маршрутизатор будет полезен для пользователей, имеющих несколько ПК, так как позволяет более эффективно использовать ресурсы дискретных графических ускорителей, которые часто работают с низкой загрузкой.
Разработка PAIR основана на открытой лицензии Apache 2.0, что делает ее доступной для широкого круга пользователей и разработчиков. Инженеры NVIDIA отмечают, что большинство домашних систем с дискретными графическими картами могут значительно повысить свою производительность при правильной балансировке нагрузки, что особенно актуально в условиях растущей популярности больших языковых моделей.
Внедрение PAIR может изменить подход пользователей к использованию своих домашних ПК, позволяя им более эффективно распределять ресурсы и оптимизировать процесс работы с AI-приложениями. Это также может способствовать развитию новых технологий и приложений в области искусственного интеллекта, что в свою очередь может оказать влияние на рынок компьютерных технологий в целом.