Пользователь собрал локальный ИИ-сервер на базе Opus 4.6, используя две видеокарты Tesla P100 и 28-поточный процессор Xeon. Сервер способен обрабатывать от 10 до 50 токенов в секунду, в зависимости от модели нейросети. Для работы требуется киловатт питания, а сам сервер размещён на кухне из-за шума от турбин.
В ходе тестирования были проведены бенчмарки на 14 реальных задачах, что позволило оценить производительность системы. В сравнении с облачными решениями, такими как DeepSeek, локальный сервер демонстрирует меньшую скорость, однако предоставляет пользователю независимость от облачных сервисов. Это позволяет избежать зависимостей и обеспечить доступ к ресурсам в любое время.
Создание локального ИИ-сервера может быть интересным решением для тех, кто хочет контролировать свои данные и не полагаться на облачные технологии. Результаты тестирования могут помочь другим пользователям принять решение о сборке аналогичной системы, учитывая как плюсы, так и минусы такого подхода.