OpenAI опубликовала описание масштабирования Habitat — системы онлайн-хранения данных, используемой для обслуживания более 1 млрд пользователей ChatGPT. Компания сообщает, что после изменений скорость чтения данных выросла в 12 раз.
Для масштабирования OpenAI использовала многопользовательскую архитектуру, глобальное кэширование и Azure Cosmos DB. В публикации эти компоненты представлены как части инфраструктурного решения, рассчитанного на работу сервиса с большой аудиторией.
Материал посвящён инженерной инфраструктуре ChatGPT, а не выпуску новой модели или функции. Указанный рост скорости чтения показывает результат оптимизации одного из компонентов системы, однако публикация не приводит дополнительных показателей производительности или методики сравнения.