OpenWeights: Edge Inference

Alpha Romer Coma

Rakenduse teave

OpenWeights käitab avatud kaaluga keelemudeleid otse teie telefonis. Pole vaja luua kontot, pole vaja serverit, millega suhelda, ja teie kohta ei mõõdeta midagi.

Otsige rakendusest Hugging Face'i, uurige enne allalaadimist, kas mudel teie seadmes tegelikult töötab, ja vestelge sellega. Iga märgi on teie enda riistvara poolt loodud.

SUVALINE MUDEL, MITTE KATALOOG

Teised seadmesisesed rakendused annavad teile kellegi teise valitud lühikese nimekirja. OpenWeights annab teile Hubi. Kui keegi avaldas GGUF-i tund aega tagasi, saate selle käivitada.

AUS OMA SEADMES

Enne kui kulutate gigabaite, loeb rakendus mudeli päise võrgu kaudu ja ütleb teile, mida see teie valitud kontekstipikkusega vajab, kui kiiresti see töötab ja kas see üldse teie telefonis töötab.

REAALSED NUMBRID TEIE EES

Märgid sekundis, esimese märgini jõudmise aeg ja kontekstiaken on täis, kuvatakse vestluse ajal, mitte ei ole peidetud.

SINU HÄÄLESTAMISEKS

Temperatuur, top-p, top-k, korduskaristus, konteksti pikkus, süsteemiviip ja see, mida mudelile tema tööriistade kohta öeldakse – kõik salvestatakse mudeli kohta. Mudel saab enne vastamist mõelda, aga see on samuti lüliti ja telefonis, millel on töötav GPU, saate öelda, millises protsessoris kihte hoitakse.

ENAM KUI TEKST

Pildid ja heli mudelitele, mis pakuvad neile projektori, dokumendid, mida iga mudel saab lugeda, dikteerimine teie telefoni enda seadmetuvastaja kaudu ja ettelugemine.

ASSISTENT, MIS SAAB TEGUTSADA

Mudel saab veebist otsida, lehte lugeda ja töötada kaustaga, mille jagate. Teie otsustate, kui palju köit see saab: kinnitage iga samm, laske sellel töötada või paluge tal kõigepealt planeerida ja öelda, mida see teeks, enne kui midagi juhtub. See saab esitada teile selgitava küsimuse ja järgida kontrollnimekirja, mille saate ise linnukese teha. Kõik tööriistad saab välja lülitada.

PRIVAATNE KONSTRUKTSIOONI PÄRAST

Teie vestlused, mudelid ja kasutusviisid jäävad seadmesse. Puudub analüütika SDK, krahhiraporti ja meiepoolne taustsüsteem. Automaatne varundamine ja seadmete edastamine on välja lülitatud, seega uus telefon ei päri teie vestlusi. Desinstallimine eemaldab kõik.

Internetti jõuavad kaks tööriista, sest nad peavad seda tegema: veebiotsing ja lehtede toomine. Mõlemad on loetletud pealkirja all, mis ütleb, et need lahkuvad seadmest, mõlemaid saab välja lülitada ja iga tehtud kõne on vastuses rida, mis nimetab selle ja mida see sai. Teie Hugging Face'i tunnus, kui selle määrate, on krüpteeritud Android Keystore'is hoitava võtmega ja saadetakse ainult Hugging Face'ile.

MIDA VAJA ON

Android 12 või uuem, 64-bitine ARM-seade ja piisavalt mälu valitud mudeli jaoks. Rakendus annab teile enne allalaadimist teada.

Mudelid pärinevad kolmandatelt osapooltelt. Teie valite, millist mudelit käitada, ja see, mida see ütleb, on selle avaldaja töö, mitte meie oma. Avatud lähtekoodiga, aadressil github.com/alpharomercoma/openweights.

Mis on uut?

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model