MLPerf Mobile

MLCommons

Om appen

MLPerf Mobile är ett gratis benchmarkingverktyg med öppen källkod designat för att mäta prestandan hos mobila enheter som smartphones och surfplattor i olika uppgifter med artificiell intelligens (AI) och maskininlärning (ML). Arbetsbelastningar som testas inkluderar bildklassificering, språkförståelse, uppskalning av superupplösning och bildgenerering baserat på textuppmaningar. Detta riktmärke använder sig av hårdvaru-AI-acceleration på många av de senaste mobila enheterna för att säkerställa bästa prestanda där det är möjligt.

MLPerf Mobile byggs och underhålls av MLPerf Mobile-arbetsgruppen på MLCommons®, ett icke-vinstdrivande AI/ML-ingenjörskonsortium som består av 125+ medlemmar inklusive industriföretag och akademiker från en mängd olika institutioner runt om i världen. MLCommons producerar riktmärken i världsklass för AI-träning och slutledning över många systemskalor, från stora datacenterinstallationer till små inbäddade enheter.

Funktioner hos MLPerf Mobile inkluderar:

- Benchmark-tester över olika domäner baserade på toppmoderna AI-modeller, inklusive:

- Bildklassificering
- Objektdetektering
- Bildsegmentering
- Språkförståelse
- Superupplösning
- Bildgenerering från textmeddelanden

- Skräddarsydd AI-acceleration på de senaste mobila enheterna och SoC:erna.

- Brett stöd för Android-enheter via TensorFlow Lite ombudsacceleration.

- Skräddarsydda testlägen för alla från tillfälliga användare som vill ha en snabb prestationsbedömning till MLCommons-medlemmar som avser att skicka in officiella resultat för publicering.

- Anpassningsbara nedkylningsfördröjningar mellan testerna för att undvika termisk strypning och säkerställa korrekta resultat.

- Valfri molnbaserad resultatlagring så att du kan spara och komma åt dina tidigare resultat från flera enheter på ett ställe. (Denna funktion är gratis men kräver kontoregistrering.)

MLPerf Mobile uppdateras vanligtvis flera gånger varje år med nya tester och accelerationsstöd i takt med att AI-modeller och mobil hårdvarukapacitet utvecklas. Observera att vissa benchmark-tester kanske inte stöds, och därför kanske inte visas som tillgängliga för testning, på äldre enheter.

Källkod och dokumentation för MLPerf Mobile-appen finns på MLCommons Github-repo. För användarsupport eller frågor, vänligen öppna problem i appens Github-repo:

github.com/mlcommons/mobile_app_open

Om du eller din organisation är intresserad av att bli en MLCommons-medlem, kontakta [e-mail] för mer information.

Nyheter

Adds support for devices based on the following SoCs:
Samsung Exynos 2600
Qualcomm Snapdragon 8 Elite Gen 5, 8 Gen 5, 8s Gen 4, 7 Gen 4, and 6 Gen 4