Исследование показало, что при одинаковой цене за токен, использование Claude Opus 5 для обработки русского текста требует в 3,9 раза больше токенов по сравнению с GPT-5.5. Это приводит к значительно более высоким затратам при работе с русскоязычными текстами, что может повлиять на выбор инструментов для разработчиков и пользователей.
Анализ включал сравнение 11 различных токенизаторов, которые демонстрируют значительные различия в количестве токенов, необходимых для обработки аналогичных текстов. Например, Claude Opus 5 использует от одного символа на токен, в то время как YandexGPT и GigaChat могут обрабатывать текст с более высокой эффективностью, достигая до пяти символов на токен.
Эти результаты могут оказать влияние на выбор технологий для обработки текста, особенно для компаний, работающих с русскоязычной аудиторией. Знание о различиях в затратах на токены может помочь разработчикам оптимизировать свои расходы и улучшить эффективность работы с текстами на русском языке.