Vercel Labs выпустила agent-desktop — CLI-инструмент и библиотеку на Rust и C для чтения и управления настольными приложениями. Вместо скриншотов программа использует дерево доступности операционной системы и передаёт агенту JSON-снимок с идентификаторами элементов, доступных для взаимодействия.
Версия 1.0.2 опубликована 30 октября под лицензией Apache-2.0. Инструмент работает на macOS 13 и новее, Windows 10 версии 1809 и новее, Windows Server 2019 и Ubuntu 24.04 и новее; поддерживаются архитектуры x64 и ARM64. Для работы достаточно обычного процессора, графический ускоритель не требуется.
По данным Vercel Labs, обход структуры интерфейса позволяет сократить число токенов на 78–96% в насыщенных интерфейсом приложениях Electron. Независимый бенчмарк для сценариев управления компьютером пока не опубликован, поэтому оценка производительности основана на данных разработчика.