В последние два месяца система, отвечающая за анализ закупок с использованием LLM, столкнулась с несколькими сбоями. Эти проблемы возникли в основном вне рамок промптов, что затрудняет их диагностику и решение. Внутренняя система компании обрабатывает данные с 14 закупочных площадок и еще двух напрямую, что создает значительную нагрузку на алгоритмы.
Каждое новое извещение проходит через детерминированный фильтр, который определяет его соответствие критериям. Если запись проходит фильтрацию, система создает карточку закупки и передает информацию на дешёвый LLM для вынесения вердикта. Однако частые сбои в работе LLM ставят под сомнение эффективность данного подхода и требуют пересмотра алгоритмов.
Эти проблемы важны для повышения эффективности работы IT-компании в сфере закупок. Устранение сбоев в LLM-конвейере может существенно улучшить качество анализа данных и, как следствие, повысить конкурентоспособность компании на рынке. Важно также учитывать, что подобные сбои могут повлиять на более широкий контекст использования LLM в других сферах.