AWS опубликовала руководство по управлению расходами на Amazon Bedrock для FinOps- и платформенных команд. Оно посвящено распределению затрат между командами, выяснению расходов по отдельным рабочим нагрузкам и контролю соблюдения бюджетов.

В статье говорится, что агентные сценарии, например помощники для программирования, выполняют несколько вызовов модели за одну задачу: планируют действия, читают файлы, используют инструменты и повторяют операции. Поэтому расход токенов зависит не только от числа взаимодействий с пользователем, но и от степени автономности системы и объёма контекста.

AWS отмечает, что сравнение тарифов моделей и сокращение промптов могут помочь снизить затраты, но сами по себе не дают полного контроля по командам и сценариям использования. Руководство ориентировано на организации, которым необходимо отслеживать расходы на генеративный ИИ по мере роста его применения.