В недавнем опыте оптимизации ИИ-агента автор смог значительно сократить стоимость сессии, снизив её с 48 до 8 рублей. Это было достигнуто благодаря уменьшению количества входных токенов, которые отправлялись нейросети, с 123 856 до более управляемого объема. Основной проблемой было то, что значительная часть контекста уже была доступна ранее, что приводило к излишним расходам на токены.
Для решения этой проблемы автор начал с удаления повторного контекста, что сначала было реализовано на сервере, а затем и на компьютере пользователя. В результате за два дня вокруг этой идеи возникли новые инструменты, такие как локальный архив и оглавление сессии, что значительно упростило процесс работы с ИИ-агентом.
Эта оптимизация имеет важное значение для снижения затрат на использование ИИ-технологий, что может сделать их более доступными для широкого круга пользователей. Уменьшение стоимости сессии также позволяет эффективнее использовать ресурсы и улучшать производительность систем, работающих на основе ИИ.