Автор изучил посттренировочное квантование семейства RWKV-7 — от моделей с 0,1 млрд до 13,3 млрд параметров. Сравнивались пресеты REDUCTION со сжатием примерно в 2,1 раза и COMPRESSION со сжатием примерно в 3,1 раза, использующий 4-битные проекции.

При использовании 4-битного пресета перплексия модели 2,9B выросла на 4,04%, тогда как у модели 1,5B — на 2,85%. Анализ показал, что до 86% вклада всей группы o_proj в модели 2,9B приходится на выходную проекцию нулевого блока; её вход, согласно материалу, содержит аномально большие значения.

Результаты указывают, что влияние квантования зависит не только от размера модели: отдельные матрицы и особенности распределения активаций могут непропорционально влиять на качество. Это исследование касается семейства RWKV-7 и не позволяет само по себе делать выводы обо всех языковых моделях.