Исследовательская группа из Оксфорда, Кембриджа, университетов Торонто и Эдинбурга провела эксперимент, чтобы выяснить, что произойдет с большими языковыми моделями (LLM), когда большинство текстов в интернете будут сгенерированы этими моделями. Результаты показали, что обучение на сгенерированном контенте приводит к необратимым дефектам в моделях, что может негативно сказаться на их эффективности.

В ходе эксперимента выяснилось, что у моделей исчезают хвосты исходного распределения контента, что может привести к снижению качества генерируемых текстов и изображений. Это открытие подчеркивает важность использования разнообразных и качественных данных для обучения LLM, чтобы избежать потери критически важных характеристик.

Данные результаты имеют значительное значение для будущих исследований и разработок в области искусственного интеллекта. Понимание последствий обучения на сгенерированных данных поможет разработчикам создавать более надежные и эффективные модели, которые смогут лучше справляться с задачами обработки естественного языка и генерации контента.