Исследователи сравнили работу рассуждающих ИИ-моделей при анализе историй болезни. Такие модели точнее определяли основной диагноз, однако на 34,8% чаще включали в ответы заболевания, которых не было среди подтверждённых диагнозов пациента.

Кроме того, повторный анализ одной и той же истории болезни чаще приводил к разным результатам. Это указывает на непостоянство ответов моделей при выполнении одинаковой диагностической задачи.

Результаты опубликованы в Nature Communications. Они показывают, что оценивать медицинские ИИ-системы важно не только по точности основного диагноза, но и по частоте неподтверждённых выводов и устойчивости ответов.