Datalab представил OmniParseBench, новый инструмент для оценки качества парсеров документов. Этот бенчмарк включает 16,288 тестов, охватывающих 2,937 страниц, включая отсканированные формы, рукописи и математические таблицы. Вместо того чтобы полагаться на существующий рейтинг, разработчики пересобрали его, используя данные о 27 парсерах, чтобы увидеть, какие ошибки влияют на результаты.

В процессе тестирования OmniParseBench было установлено, что два лучших парсера статистически связаны, однако лидер изменяется в зависимости от типа документа. Также было отмечено, что один из показателей запуска не совпадает с опубликованными файлами. Это подчеркивает важность точности и надежности при оценке производительности парсеров.

Разработка OmniParseBench имеет значительное значение для сообщества разработчиков, так как предоставляет открытый и объективный способ тестирования парсеров документов. Это может способствовать улучшению технологий обработки документов и повышению качества автоматизированных систем распознавания текста.