Datalab анонсировала запуск OmniExtractBench, открытого бенчмарка, предназначенного для оценки систем извлечения данных. Этот инструмент позволяет тестировать, насколько точно система заполняет JSON-схему, используя PDF-документы. В бенчмарке использовано 620 документов, собранных из четырех существующих источников, а также предусмотрен детерминированный оценщик, который объясняет каждое свое решение.
Запуск OmniExtractBench происходит на фоне публикации собственных рейтингов извлекающих вендоров, которые, по мнению Datalab, сложно сравнивать и проверять. Новый бенчмарк предлагает единый стандарт для оценки, что может улучшить прозрачность и сопоставимость результатов. Оценщик доступен для установки через PyPI и совместим с Python 3.11+, а также требует API-ключи и платные кредиты для повторного запуска тестов вендоров.
Важность OmniExtractBench заключается в его способности устранить недостатки существующих методов оценки, таких как предвзятость и непрозрачность. Это может способствовать более справедливой оценке систем извлечения данных, что, в свою очередь, улучшит качество и надежность технологий в данной области.