RWKV-7
Последние новости и упоминания на vestka
- Исследование квантования RWKV-7 выявило повышенную деградацию 2,9B-модели при сжатии до 4 бит
ИИ·Хабр ИИ·
В анализе посттренировочного квантования моделей RWKV-7 размером от 0,1B до 13,3B параметров 4-битный режим сильнее ухудшил перплексию модели 2,9B, чем модели 1,5B: на 4,04% против 2,85%. Причину связали с тем, что до 86% вклада группы выходных проекций o_proj у модели 2,9B приходится на одну матрицу нулевого блока.