В статье описывается процесс создания локального ИИ-ассистента, который был собран на базе двух видеокарт с объемом памяти по 12 ГБ каждая. Система интегрирует языковую модель с RAG, графовой памятью и инструментами MCP, а также поддерживает голосовой ввод и вывод. Ассистент способен обрабатывать документы, почту, календарь, Telegram и управлять умным домом.
Автор подчеркивает, что модели с количеством параметров от 9B до 27B являются достаточными для выполнения задач, связанных с управлением рутинными процессами. Локальная модель становится эффективной не только при сравнении с облачными сервисами, но и в контексте обработки данных на уровне пользователя. Это открывает новые возможности для персонализированного подхода к использованию ИИ.
Создание локального ИИ-ассистента может значительно повысить эффективность работы и упростить управление повседневными задачами. В условиях растущей популярности технологий ИИ, такие разработки становятся актуальными для пользователей, стремящихся к большей автономии и контролю над своими данными.