Разработчик рассказал о создании русскоязычной GPT-модели jarvis на 112 млн параметров. Модель построена на архитектуре decoder-only transformer с использованием PyTorch.

В описании проекта автор указывает, что самостоятельно выполнил предварительное обучение модели и дообучение с учителем (SFT), а затем запустил Telegram-бота для взаимодействия с ней. По словам автора, проект задумывался как практический способ разобраться в устройстве больших языковых моделей.

Материал представляет собой описание индивидуального технического проекта, а не релиз крупной компании или исследовательский прорыв. Он может быть полезен разработчикам, изучающим обучение языковых моделей и создание приложений на их основе.