Инженер разработал текстово-изображенческий генератор на основе микроконтроллера ESP32-S3, который имеет всего 512 КБ оперативной памяти и два ядра по 240 МГц. В отличие от мощных видеокарт, которые требуют значительных ресурсов для работы с диффузионными моделями, этот проект демонстрирует, что генерация изображений может быть выполнена непосредственно на чипе. Это открывает новые возможности для использования микроконтроллеров в задачах, связанных с искусственным интеллектом.

Проект основан на использовании диффузионного трансформера, который позволяет создавать изображения по текстовым описаниям. Инженер отметил, что, несмотря на ограничения в ресурсах, ему удалось добиться впечатляющих результатов, генерируя изображения, такие как «улыбающаяся девушка со светлыми волосами». Это подчеркивает потенциал использования небольших устройств для выполнения сложных вычислительных задач.

Данная разработка может иметь значительное значение для будущих приложений в области IoT и искусственного интеллекта. Возможность реализации генерации изображений на доступных микроконтроллерах открывает новые горизонты для разработчиков, позволяя интегрировать AI-технологии в различные устройства с ограниченными ресурсами.