На конференции Hot Chips 2026 Samsung представила новую память LPDDR5X-PIM, которая сочетает в себе традиционные функции оперативной памяти и вычислительные возможности. В каждом банке памяти встроены MAC-деревья, что позволяет выполнять вычисления непосредственно в памяти, а не передавать данные в процессор.
При тестировании на инференсе модели Llama 3.1 8B новая память показала значительные улучшения: производительность увеличилась в 3,01 раза по токенам в секунду (81,3 против 27,0) и в 2,28 раза по времени выполнения (5,4 секунды против 12,3). Эффективная полоса пропускания также возросла с 76,8 ГБ/с до 614 ГБ/с, что открывает новые возможности для обработки больших объемов данных.
Данная разработка может оказать значительное влияние на производительность вычислительных систем, особенно в областях, требующих обработки больших данных в реальном времени. Интеграция вычислений в память может привести к более эффективным архитектурам и ускорению работы современных приложений, что делает LPDDR5X-PIM важным шагом вперед в технологии памяти.