В недавнем эксперименте была проведена оценка локальной 27B-модели в контексте расследования продакшен-инцидента, связанного с забитыми соединениями. Используя две видеокарты RTX 5090, автор выполнил около 40 прогонов, чтобы выяснить, сможет ли локальная модель справиться с задачей так же эффективно, как Claude, которая обнаружила причину проблемы всего за двадцать минут.
В ходе тестирования использовался тот же промпт и код, что и в случае с Claude. Однако, несмотря на наличие одной правдоподобной, но ложной гипотезы, локальная модель не смогла дать столь же быстрый и точный ответ. Это поднимает вопросы о возможностях локальных моделей в сравнении с облачными решениями, особенно в критических ситуациях.
Данное исследование подчеркивает важность выбора между локальными и облачными моделями для решения задач в области ИИ. Эффективность облачных решений, таких как Claude, может оказаться более предпочтительной в условиях ограниченного времени, что важно для продакшен-среды, где каждая минута на счету.