Агенты на основе языковых моделей (LLM) сталкиваются с проблемами, когда задачи становятся длительными и требуют большого количества вызовов инструментов. В частности, они могут страдать от переполнения контекста и потери цели, что приводит к неэффективной работе. AWS предлагает решение в виде специального управления, которое не зависит от самой модели, а фокусируется на организации работы агентов.
Ключевыми механизмами, которые позволяют преобразовать поверхностный цикл в более глубокого агента, являются компакция, стратегия памяти, бюджетирование контекста и управление состоянием задач. В статье рассматриваются примеры реализации этих механизмов в таких системах, как LangChain Deep Agents, Claude Code и OpenAI Codex, а также их пороговые значения, что позволяет лучше понять их эффективность.
Проблема увеличения контекстного окна как решения не всегда работает так, как ожидается. Исследования, такие как отчет Chroma’s Context Rot, показывают, что увеличение окна контекста не всегда приводит к значительному улучшению. Это подчеркивает необходимость в более сложных решениях для управления состоянием и контекстом в долгосрочных задачах.