OpenWeights: Edge Inference

Alpha Romer Coma

Rreth këtij aplikacioni

OpenWeights ekzekuton modele gjuhësore me peshë të hapur direkt në telefonin tuaj. Nuk ka llogari për të krijuar, nuk ka server për të folur dhe asgjë nuk matet rreth jush.

Kërkoni Hugging Face nga brenda aplikacionit, zbuloni nëse një model do të funksionojë në të vërtetë në pajisjen tuaj para se ta shkarkoni dhe bisedoni me të. Çdo token prodhohet nga hardueri juaj.

ÇDO MODELI, JO KATALOG

Aplikacione të tjera në pajisje ju japin një listë të shkurtër që dikush tjetër ka zgjedhur. OpenWeights ju jep Qendrën. Nëse dikush ka publikuar një GGUF një orë më parë, mund ta ekzekutoni.

I NDERSHËM PËR PAJISJEN TUAJ

Para se të shpenzoni gigabajt, aplikacioni lexon kokën e modelit në rrjet dhe ju tregon se çfarë i nevojitet në gjatësinë e kontekstit që keni zgjedhur, afërsisht sa i shpejtë do të jetë dhe nëse do të funksionojë fare në telefonin tuaj.

SHIFRA TË VËRTETË, PARA JUSH

Tokenat për sekondë, koha deri te tokeni i parë dhe sa e plotë është dritarja e kontekstit, të shfaqura ndërsa bisedoni në vend që të fshihen.

PËR T'UAJT PËR T'U AKONDITUAR

Temperatura, top-p, top-k, penalizimi i përsëritjes, gjatësia e kontekstit, kërkesa e sistemit dhe ajo që modelit i thuhet për mjetet e tij, të gjitha të ruajtura për model. Kur një model mund të mendojë para se të përgjigjet, edhe kjo është një çelës, dhe në një telefon me një GPU funksionale mund të thuash se cili procesor mban shtresat.

MË SHUMË SE TEKST

Imazhe dhe audio për modelet që ofrojnë një projektor për to, dokumente që çdo model mund të lexojë, diktim përmes njohësit të vetë pajisjes së telefonit tuaj dhe lexim me zë të lartë.

NJË ASISTENT QË MUND TË VEPROJË

Modeli mund të kërkojë në internet, të lexojë një faqe dhe të punojë me një dosje që zgjidhni të ndani. Ju vendosni se sa litar merr: miratoni çdo hap, lëreni të funksionojë ose kërkoni që të planifikojë i pari dhe të thotë se çfarë do të bënte para se të ndodhë diçka. Mund t'ju bëjë një pyetje sqaruese dhe të ndjekë një listë kontrolli që mund ta shënoni vetë. Çdo mjet mund të çaktivizohet.

PRIVAT NGA NDËRTIMI

Bisedat tuaja, modelet tuaja dhe përdorimi juaj mbeten në pajisje. Nuk ka SDK analitike, asnjë raportues për rrëzime dhe asnjë backend të yni. Rezervimi automatik dhe transferimi i pajisjes janë të çaktivizuara, kështu që një telefon i ri nuk trashëgon bisedat tuaja. Çinstalimi heq gjithçka.

Dy mjete arrijnë në internet, sepse duhet: kërkimi në internet dhe marrja e faqeve. Të dyja janë të listuara nën një titull që thotë se ato largohen nga pajisja, të dyja mund të çaktivizohen dhe çdo thirrje që bën është një rresht në përgjigje që e emërton atë dhe çfarë i është dhënë. Tokeni juaj Hugging Face, nëse vendosni një të tillë, është i koduar me një çelës të mbajtur në Android Keystore dhe dërgohet vetëm te Hugging Face.

ÇFARË JU NEVOJITET

Android 12 ose më i ri, një pajisje ARM 64-bit dhe memorie e mjaftueshme për modelin që zgjidhni. Aplikacioni do t'ju tregojë para se ta shkarkoni.

Modelet vijnë nga palë të treta. Ju zgjidhni se cilin të ekzekutoni dhe ajo që thotë është punë e botuesit të tij dhe jo e jona. Burim i hapur, në github.com/alpharomercoma/openweights.

Ç'të reja ka

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model