OpenAI опубликовала результаты нового бенчмарка MultiLangBench, который оценивает, как её модели справляются с "малоресурсными" языками программирования, такими как COBOL, Fortran и Visual Basic. В рамках тестирования новая модель GPT-6.1 Sol показала впечатляющие результаты, переписывая программы с COBOL на современные языки в 86,6% случаев, что значительно превышает показатели предыдущих моделей.

В предыдущем поколении моделей успешность переписывания кода с COBOL составляла всего 5,4%. При более длительном времени на размышления новая модель демонстрировала ещё более высокие результаты - до 97,9%. Эти данные подчеркивают прогресс в области автоматизации и улучшения качества работы с устаревшими языками программирования.

Данный бенчмарк имеет важное значение для разработчиков, работающих с устаревшими системами, так как он открывает новые возможности для модернизации программного обеспечения. Успешный перенос кода может значительно сократить время и затраты на обновление старых систем, что является критически важным для многих организаций.