Пользователь подключил локальную модель Gemma к облачному Codex с целью оптимизации расхода лимита токенов. На тестовой задаче, однако, расход токенов увеличился вдвое, что ставит под сомнение эффективность такого подхода. У пользователя MacBook Pro 16 2019 года с шестиядерным Intel Core i7 и 16 ГБ оперативной памяти, что позволяет запускать несколько моделей одновременно.
Идея использования локальной модели для обработки простых задач, таких как разбор traceback или сводка лога, казалась логичной. Это должно было освободить облачный Codex для более сложных задач, однако результаты тестирования показали, что такая оптимизация не всегда оправдана. Пользователь также создал MCP-сервер для подключения Gemma к Codex и провел сравнение производительности.
Данное тестирование поднимает важные вопросы о целесообразности использования облачных решений для простых задач, особенно в контексте растущих затрат на токены. Важно учитывать, что оптимизация работы моделей может существенно повлиять на эффективность использования ресурсов и снизить затраты на облачные сервисы.