Исследование, проведенное в контексте ипотечного кризиса 2008 года, показывает, что риск-движок мог предсказать финансовые проблемы за год до их фактического проявления. Модель, обученная на данных до 2009 года, продемонстрировала ROC-AUC 0.89, что указывает на высокую точность в ранжировании займов. Однако ожидаемые потери в 161 миллион долларов значительно отличались от реальных, которые составили 546 миллионов долларов.
Анализ данных на 26.5 миллионов ипотечных записей показывает, что ошибки модели можно было выявить, если оценивать их в денежном выражении, а не только через стандартные метрики качества. Это подчеркивает важность использования комплексных подходов для оценки кредитного риска, которые могут учитывать не только статистические показатели, но и финансовые последствия.
Данное исследование имеет значительное значение для финансовых институтов и регуляторов, так как оно демонстрирует, как недостатки в моделях кредитного риска могут привести к серьезным финансовым потерям. Открытые исходные коды и инструкции по использованию риск-движка могут помочь другим исследователям и практикам избежать аналогичных ошибок в будущем.