MLPerf Mobile besplatni je benchmarking alat otvorenog koda dizajniran za mjerenje performansi mobilnih uređaja poput pametnih telefona i tableta u raznim zadacima umjetne inteligencije (AI) i strojnog učenja (ML). Testirana radna opterećenja uključuju klasifikaciju slika, razumijevanje jezika, povećanje razlučivosti super rezolucije i generiranje slika na temelju tekstualnih upita. Ovo mjerilo koristi hardversko AI ubrzanje na mnogim najnovijim mobilnim uređajima kako bi se osigurala najbolja izvedba gdje je to moguće.
MLPerf Mobile izgradila je i održava radna grupa MLPerf Mobile pri MLCommons®, neprofitnom AI/ML inženjerskom konzorciju sastavljenom od 125+ članova uključujući industrijske tvrtke i akademike iz niza različitih institucija širom svijeta. MLCommons proizvodi referentne vrijednosti svjetske klase za obuku AI i zaključivanje na mnogim razinama sustava, od velikih instalacija podatkovnih centara do malih ugrađenih uređaja.
Značajke MLPerf Mobile uključuju:
- Benchmark testovi u raznim domenama temeljeni na najsuvremenijim AI modelima, uključujući:
- Klasifikacija slika
- Detekcija objekata
- Segmentacija slike
- Razumijevanje jezika
- Super rezolucija
- Generiranje slike iz tekstualnih upita
- Prilagođeno AI ubrzanje na najnovijim mobilnim uređajima i SoC-ovima.
- Široka podrška za Android uređaje putem TensorFlow Lite delegatskog zamjenskog ubrzanja.
- Prilagođeni načini testiranja za sve, od povremenih korisnika koji žele brzu procjenu performansi do članova MLCommons koji namjeravaju poslati službene rezultate za objavljivanje.
- Prilagodljive odgode hlađenja između testova kako bi se izbjeglo termičko prigušivanje i osigurali točni rezultati.
- Dodatna pohrana rezultata u oblaku tako da možete spremiti i pristupiti svojim prošlim rezultatima s više uređaja na jednom mjestu. (Ova značajka je besplatna, ali zahtijeva registraciju računa.)
MLPerf Mobile obično se ažurira više puta svake godine s novim testovima i podrškom za ubrzanje kako se razvijaju AI modeli i mogućnosti mobilnog hardvera. Imajte na umu da neki referentni testovi možda neće biti podržani i stoga se možda neće prikazati kao dostupni za testiranje na starijim uređajima.
Izvorni kod i dokumentacija za aplikaciju MLPerf Mobile dostupni su na MLCommons Github repo. Za korisničku podršku ili pitanja, slobodno otvorite pitanja u Github repou aplikacije:
github.com/mlcommons/mobile_app_open
Ako ste vi ili vaša organizacija zainteresirani da postanete član MLCommonsa, obratite se na participaciju@mlcommons.org za više informacija.