MLPerf Mobile er et gratis benchmarkingværktøj med åben kildekode designet til at måle ydeevnen af mobile enheder som smartphones og tablets i forskellige kunstig intelligens (AI) og machine learning (ML) opgaver. De testede arbejdsbelastninger inkluderer billedklassificering, sprogforståelse, superopløsningsopskalering og billedgenerering baseret på tekstprompter. Dette benchmark gør brug af hardware AI-acceleration på mange af de nyeste mobile enheder for at sikre den bedste ydeevne, hvor det er muligt.
MLPerf Mobile er bygget og vedligeholdt af MLPerf Mobile-arbejdsgruppen hos MLCommons®, et non-profit AI/ML-ingeniørkonsortium, der består af 125+ medlemmer, inklusive industrivirksomheder og akademikere fra en lang række forskellige institutioner rundt om i verden. MLCommons producerer benchmarks i verdensklasse for AI-træning og inferens på tværs af mange systemskalaer, fra store datacenterinstallationer til små indlejrede enheder.
MLPerf Mobiles funktioner omfatter:
- Benchmark-tests på tværs af forskellige domæner baseret på avancerede AI-modeller, herunder:
- Billedklassificering
- Genstandsdetektering
- Billedsegmentering
- Sprogforståelse
- Super opløsning
- Billedgenerering fra tekstprompter
- Skræddersyet tilpasset AI-acceleration på de nyeste mobile enheder og SoC'er.
- Bred understøttelse af Android-enheder via TensorFlow Lite delegeret fallback acceleration.
- Skræddersyede testtilstande til alle fra afslappede brugere, der ønsker en hurtig præstationsvurdering, til MLCommons-medlemmer, der har til hensigt at indsende officielle resultater til offentliggørelse.
- Tilpasbare nedkølingsforsinkelser mellem tests for at undgå termisk drosling og sikre nøjagtige resultater.
- Valgfri skybaseret lagring af resultater, så du kan gemme og få adgang til dine tidligere resultater fra flere enheder på ét sted. (Denne funktion er gratis, men kræver kontoregistrering.)
MLPerf Mobile opdateres typisk flere gange hvert år med nye tests og accelerationsunderstøttelse, efterhånden som AI-modeller og mobile hardwarefunktioner udvikler sig. Bemærk venligst, at nogle benchmark-tests muligvis ikke understøttes og derfor muligvis ikke vises som tilgængelige til test på ældre enheder.
Kildekode og dokumentation til MLPerf Mobile app er tilgængelig på MLCommons Github repo. For brugersupport eller spørgsmål er du velkommen til at åbne problemer i appens Github-repo:
github.com/mlcommons/mobile_app_open
Hvis du eller din organisation er interesseret i at blive medlem af MLCommons, bedes du kontakte participation@mlcommons.org for mere information.