MLPerf Mobile

MLCommons

Описание

MLPerf Mobile — это бесплатный инструмент для бенчмаркинга с открытым исходным кодом, предназначенный для измерения производительности мобильных устройств, таких как смартфоны и планшеты, при выполнении различных задач искусственного интеллекта (ИИ) и машинного обучения (МО). Тестируемые рабочие нагрузки включают классификацию изображений, распознавание языка, масштабирование до сверхвысокого разрешения и генерацию изображений на основе текстовых подсказок. Этот бенчмарк использует аппаратное ускорение ИИ на многих современных мобильных устройствах для обеспечения наилучшей производительности там, где это возможно.

MLPerf Mobile разработан и поддерживается рабочей группой MLPerf Mobile в MLCommons® — некоммерческом консорциуме инженеров ИИ/МО, объединяющем более 125 участников, включая отраслевые компании и учёных из различных организаций по всему миру. MLCommons разрабатывает бенчмарки мирового класса для обучения и вывода ИИ в системах различного масштаба, от крупных инсталляций в центрах обработки данных до небольших встраиваемых устройств.

Возможности MLPerf Mobile включают:

- Тестирование производительности в различных областях на основе современных моделей искусственного интеллекта, включая:

- Классификацию изображений
- Обнаружение объектов
- Сегментацию изображений
- Понимание языка
- Суперразрешение
- Генерацию изображений по текстовым запросам

- Настраиваемое ускорение искусственного интеллекта на новейших мобильных устройствах и однокристальных системах (SoC).

- Широкая поддержка устройств Android благодаря ускорению делегирования TensorFlow Lite.

- Индивидуально разработанные режимы тестирования для всех: от обычных пользователей, желающих быстро оценить производительность, до участников MLCommons, планирующих представить официальные результаты для публикации.

- Настраиваемые задержки охлаждения между тестами для предотвращения перегрева и обеспечения точности результатов.

- Дополнительное облачное хранилище результатов для сохранения и доступа к предыдущим результатам с нескольких устройств в одном месте. (Эта функция бесплатна, но требует регистрации учетной записи.)

MLPerf Mobile обычно обновляется несколько раз в год, добавляя новые тесты и поддержку ускорения по мере развития моделей искусственного интеллекта и возможностей мобильного оборудования. Обратите внимание, что некоторые тесты производительности могут не поддерживаться и, следовательно, не отображаться как доступные для тестирования на старых устройствах.

Исходный код и документация мобильного приложения MLPerf доступны в репозитории MLCommons на Github. Для получения поддержки или вопросов, пожалуйста, обращайтесь в репозиторий приложения на Github:

github.com/mlcommons/mobile_app_open

Если вы или ваша организация заинтересованы в членстве в MLCommons, свяжитесь с нами по адресу [e-mail] для получения дополнительной информации.

Новое в приложении

-Adds support for Mediatek Dimensity 9400 SoCs.
-The 60-second cooldown time in quick mode is consistently initialized.
-Updated about, licensing, & privacy info.
-Various UI fixes & back-end improvements.
-This release should be broadly compatible. In testing, we found issues with the following devices:

Samsung:
Galaxy Tab A9 Plus
Galaxy Tab S8
Galaxy A52
Galaxy Tab S7
Galaxy S24 Ultra

Google:
Pixel 5

For support, please open an issue in the MLPerf Mobile GitHub repo.