В ходе эксперимента с ИИ-агентом, который был настроен на более осторожный подход к написанию кода, выяснилось, что такая настройка может негативно сказаться на его эффективности. Три прогона на 100 реальных багах из SWE-bench показали, что применение 'правил дисциплины', основанных на советах Карпати, снизило количество исправлений примерно на 13%. Это открытие вызывает вопросы о том, как разумные ограничения могут повлиять на производительность ИИ.

Настройка осторожности, изначально воспринимаемая как полезная, оказалась контрпродуктивной в данном контексте. ИИ-агент, стремящийся следовать более строгим правилам, стал менее эффективным в исправлении ошибок, что подчеркивает важность баланса между осторожностью и производительностью. Эксперимент показывает, что чрезмерная осторожность может привести к ухудшению результатов, что важно учитывать при разработке ИИ-систем.

Эти результаты могут иметь значительное влияние на дальнейшие исследования в области ИИ и разработку более эффективных алгоритмов. Понимание того, как различные настройки влияют на производительность, поможет разработчикам создать более адаптивные и эффективные ИИ-агенты, которые смогут находить оптимальный баланс между осторожностью и эффективностью в решении задач.