Инженер продемонстрировал возможность генерации изображений по текстовым запросам с использованием микроконтроллера ESP32. Несмотря на ограниченные ресурсы устройства, включая 512 КБ оперативной памяти и отсутствие тензорных ядер, разработка показала, что можно запускать диффузионные модели непосредственно на чипе.
Данная реализация ставит под сомнение необходимость использования мощных видеокарт, которые требуют значительных ресурсов для выполнения аналогичных задач. В то время как такие модели, как Stable Diffusion, требуют видеокарту с 4–8 ГБ памяти, разработка на ESP32 открывает новые горизонты для использования компактных и доступных решений в области генерации изображений.
Это достижение может повлиять на рынок технологий, связанных с генерацией контента, делая их более доступными для разработчиков и исследователей. Возможность работы с диффузионными моделями на микроконтроллерах может привести к новым приложениям в области IoT и встраиваемых систем.