NVIDIA представила Personal AI Router (PAIR), который предназначен для распределения локальных AI-запросов между различными устройствами, такими как RTX, DGX Spark и Mac. Этот виртуальный маршрутизатор помогает уменьшить нагрузку на отдельные машины, позволяя им обрабатывать множество независимых запросов одновременно. PAIR не является новым движком для вывода, а служит для оптимизации работы существующих моделей, таких как Ollama или LM Studio, на выбранных устройствах.
PAIR был анонсирован на этой неделе и доступен в виде публичной бета-версии (v0.1.1) с подписанными установщиками для Windows, macOS и Linux. Полный исходный код доступен на GitHub под лицензией Apache 2.0. Устройство работает исключительно в локальной сети, интернет требуется только для загрузки моделей, что повышает его удобство и безопасность.
Внедрение PAIR может значительно улучшить производительность локальных AI-систем, позволяя пользователям эффективно использовать ресурсы своих устройств. Это особенно актуально в условиях растущего интереса к многоагентным рабочим процессам и необходимости оптимизации вычислительных ресурсов в домашних условиях.