MLPerf Mobile je bezplatný nástroj na porovnávanie s otvoreným zdrojom určený na meranie výkonu mobilných zariadení, ako sú smartfóny a tablety, v rôznych úlohách umelej inteligencie (AI) a strojového učenia (ML). Testované pracovné zaťaženia zahŕňajú klasifikáciu obrázkov, porozumenie jazyka, zvýšenie rozlíšenia v super rozlíšení a generovanie obrázkov na základe textových výziev. Tento benchmark využíva hardvérovú akceleráciu AI na mnohých najnovších mobilných zariadeniach na zabezpečenie najlepšieho výkonu tam, kde je to možné.
MLPerf Mobile je vytvorený a udržiavaný pracovnou skupinou MLPerf Mobile v MLCommons®, neziskovom konzorciu pre inžinierov AI/ML, ktoré tvorí viac ako 125 členov vrátane priemyselných firiem a akademikov z množstva rôznych inštitúcií po celom svete. MLCommons vytvára prvotriedne benchmarky pre školenia a odvodzovanie AI v mnohých systémových škálach, od veľkých inštalácií dátových centier až po malé vstavané zariadenia.
Funkcie MLPerf Mobile zahŕňajú:
- Porovnávacie testy v rôznych doménach založené na najmodernejších modeloch AI vrátane:
- Klasifikácia obrázkov
- Detekcia objektov
- Segmentácia obrazu
- Jazykové porozumenie
- Super rozlíšenie
- Generovanie obrázkov z textových výziev
- Prispôsobená akcelerácia AI na najnovších mobilných zariadeniach a SoC.
- Široká podpora pre zariadenia so systémom Android prostredníctvom zrýchlenia delegovania funkcie TensorFlow Lite.
- Prispôsobené testovacie režimy pre každého od bežných používateľov, ktorí chcú rýchle hodnotenie výkonu, až po členov MLCommons, ktorí majú v úmysle predložiť oficiálne výsledky na zverejnenie.
- Prispôsobiteľné oneskorenia ochladzovania medzi testami, aby sa zabránilo tepelnému škrteniu a zabezpečili sa presné výsledky.
- Voliteľné cloudové úložisko výsledkov, takže môžete ukladať svoje minulé výsledky a pristupovať k nim z viacerých zariadení na jednom mieste. (Táto funkcia je bezplatná, ale vyžaduje si registráciu účtu.)
MLPerf Mobile sa zvyčajne aktualizuje niekoľkokrát do roka s novými testami a podporou zrýchlenia, keďže sa vyvíjajú modely AI a možnosti mobilného hardvéru. Upozorňujeme, že niektoré benchmarkové testy nemusia byť podporované, a preto sa na starších zariadeniach nemusia zobrazovať ako dostupné na testovanie.
Zdrojový kód a dokumentácia pre aplikáciu MLPerf Mobile sú k dispozícii v repozitári MLCommons Github. V prípade používateľskej podpory alebo otázok neváhajte otvoriť problémy v úložisku Github aplikácie:
github.com/mlcommons/mobile_app_open
Ak máte vy alebo vaša organizácia záujem stať sa členom MLCommons, kontaktujte prosím Participation@mlcommons.org pre viac informácií.