На этой неделе Liquid AI представила Pipette, новую открытую платформу для бенчмаркинга моделей на устройствах. Этот инструмент позволяет оценивать производительность моделей в реальных условиях, учитывая не только саму модель, но и ее конфигурацию, включая квантование и аппаратное обеспечение. Pipette предоставляет возможность тестирования более 30 моделей с различными параметрами и контекстами, что делает его универсальным инструментом для разработчиков.
Платформа включает в себя набор данных, охватывающий пять метрик производительности на устройствах, и позволяет работать с конфигурациями, состоящими из модели, квантования, времени выполнения и устройства. Первые результаты тестирования были получены на MacBook Pro с процессором M5 Max, iPhone 17 Pro и Galaxy S26 Ultra. Это дает возможность разработчикам получить более точные данные о поведении моделей в реальных условиях использования.
Запуск Pipette имеет значительное значение для разработчиков, работающих с моделями на устройствах, так как позволяет более точно оценивать производительность и проводить сравнения между различными конфигурациями. Такой подход может способствовать улучшению качества моделей и их адаптации к условиям реального использования, что в свою очередь может повысить эффективность приложений на мобильных устройствах.