MLPerf Mobile er et gratis benchmarkingverktøy med åpen kildekode designet for å måle ytelsen til mobile enheter som smarttelefoner og nettbrett i ulike oppgaver innen kunstig intelligens (AI) og maskinlæring (ML). Arbeidsbelastninger som er testet inkluderer bildeklassifisering, språkforståelse, superoppløsningsoppskalering og bildegenerering basert på tekstmeldinger. Denne benchmarken bruker maskinvare AI-akselerasjon på mange av de nyeste mobile enhetene for å sikre best mulig ytelse der det er mulig.
MLPerf Mobile er bygget og vedlikeholdt av MLPerf Mobile-arbeidsgruppen ved MLCommons®, et non-profit AI/ML-ingeniørkonsortium som består av 125+ medlemmer, inkludert industrifirmaer og akademikere fra en rekke forskjellige institusjoner rundt om i verden. MLCommons produserer målestokker i verdensklasse for AI-trening og slutninger på tvers av mange systemskalaer, fra store datasenterinstallasjoner til små innebygde enheter.
Funksjoner til MLPerf Mobile inkluderer:
- Benchmark-tester på tvers av ulike domener basert på toppmoderne AI-modeller, inkludert:
- Bildeklassifisering
- Objektdeteksjon
- Bildesegmentering
- Språkforståelse
- Super oppløsning
- Bildegenerering fra tekstmeldinger
- Spesialtilpasset AI-akselerasjon på de nyeste mobile enhetene og SoCene.
- Bred støtte for Android-enheter via TensorFlow Lite-delegat-reserveakselerasjon.
- Skreddersydde testmoduser for alle fra tilfeldige brukere som ønsker en rask ytelsesvurdering til MLCommons-medlemmer som har til hensikt å sende inn offisielle resultater for publisering.
- Tilpassbare nedkjølingsforsinkelser mellom testene for å unngå termisk struping og sikre nøyaktige resultater.
- Valgfri skybasert resultatlagring slik at du kan lagre og få tilgang til tidligere resultater fra flere enheter på ett sted. (Denne funksjonen er gratis, men krever kontoregistrering.)
MLPerf Mobile oppdateres vanligvis flere ganger hvert år med nye tester og akselerasjonsstøtte etter hvert som AI-modeller og mobile maskinvarefunksjoner utvikler seg. Vær oppmerksom på at enkelte benchmark-tester kanskje ikke støttes, og derfor ikke vises som tilgjengelige for testing, på eldre enheter.
Kildekode og dokumentasjon for MLPerf Mobile-appen er tilgjengelig på MLCommons Github repo. For brukerstøtte eller spørsmål, kan du gjerne åpne problemer i appens Github-repo:
github.com/mlcommons/mobile_app_open
Hvis du eller din organisasjon er interessert i å bli et MLCommons-medlem, vennligst kontakt participation@mlcommons.org for mer informasjon.