MLPerf Mobile

MLCommons

Informazioni sull'app

MLPerf Mobile è uno strumento di benchmarking gratuito e open source progettato per misurare le prestazioni di dispositivi mobili come smartphone e tablet in diverse attività di intelligenza artificiale (IA) e apprendimento automatico (ML). I carichi di lavoro testati includono la classificazione delle immagini, la comprensione del linguaggio, l'upscaling a super risoluzione e la generazione di immagini basata su prompt di testo. Questo benchmark sfrutta l'accelerazione hardware dell'IA su molti dei dispositivi mobili più recenti per garantire le migliori prestazioni possibili.

MLPerf Mobile è sviluppato e gestito dal gruppo di lavoro MLPerf Mobile presso MLCommons®, un consorzio no-profit di ingegneria IA/ML composto da oltre 125 membri, tra cui aziende del settore e accademici provenienti da diverse istituzioni in tutto il mondo. MLCommons produce benchmark di livello mondiale per l'addestramento e l'inferenza dell'IA su diverse scale di sistema, dalle grandi installazioni di data center ai piccoli dispositivi embedded.

Le funzionalità di MLPerf Mobile includono:

- Test di benchmark in vari domini basati su modelli di intelligenza artificiale all'avanguardia, tra cui:

- Classificazione delle immagini

- Rilevamento di oggetti
- Segmentazione delle immagini
- Comprensione del linguaggio
- Super risoluzione
- Generazione di immagini da prompt di testo

- Accelerazione IA personalizzata sui più recenti dispositivi mobili e SoC.

- Ampio supporto per dispositivi Android tramite l'accelerazione di fallback delegata di TensorFlow Lite.

- Modalità di test personalizzate per tutti, dagli utenti occasionali che desiderano una rapida valutazione delle prestazioni ai membri di MLCommons che intendono inviare risultati ufficiali per la pubblicazione.

- Ritardi di raffreddamento personalizzabili tra i test per evitare il throttling termico e garantire risultati accurati.

- Archiviazione opzionale dei risultati basata su cloud, per salvare e accedere ai risultati precedenti da più dispositivi in ​​un unico posto. (Questa funzionalità è gratuita, ma richiede la registrazione di un account.)

MLPerf Mobile viene in genere aggiornato più volte all'anno con nuovi test e supporto per l'accelerazione, man mano che i modelli di intelligenza artificiale e le funzionalità dell'hardware mobile si evolvono. Si prega di notare che alcuni test di benchmark potrebbero non essere supportati e, pertanto, potrebbero non essere visualizzati come disponibili per i test sui dispositivi meno recenti.

Il codice sorgente e la documentazione dell'app MLPerf Mobile sono disponibili nel repository Github di MLCommons. Per assistenza o domande, non esitate a segnalare problemi nel repository Github dell'app:

github.com/mlcommons/mobile_app_open

Se voi o la vostra organizzazione siete interessati a diventare membri di MLCommons, contattate [e-mail] per ulteriori informazioni.

Novità

Adds support for devices based on the following SoCs:
Samsung Exynos 2600
Qualcomm Snapdragon 8 Elite Gen 5, 8 Gen 5, 8s Gen 4, 7 Gen 4, and 6 Gen 4