В рамках исследования была проведена проверка теории улучшения результатов LoRA файн‑тюнинга, сосредоточив внимание на активных слоях модели. Обычно адаптеры применяются ко всем слоям, однако активность различных слоев может значительно варьироваться в зависимости от темы обработки промпта. Это исследование ставит под сомнение традиционный подход и предлагает альтернативный метод выбора слоев для повышения качества.
Эксперимент был проведен на модели Qwen3-1.7B, где использовался метод, описанный в статье Act‑LoRA. В дополнение к этому была добавлена новая метрика по градиентам, что позволило статистически проверить устойчивость сигнала. Результаты показали, что выбор более активных слоев может привести к значительному улучшению качества работы модели.
Данное исследование имеет важное значение для дальнейшего развития методов файн‑тюнинга в области искусственного интеллекта. Оно открывает новые перспективы для оптимизации моделей, что может привести к более эффективным решениям в различных приложениях, связанных с обработкой естественного языка и другими задачами.