OpenWeights: Edge Inference

Alpha Romer Coma

Apie šią programą

„OpenWeights“ paleidžia atvirojo svorio kalbos modelius tiesiai jūsų telefone. Nereikia kurti paskyros, nereikia bendrauti su serveriu ir niekas apie jus nematuojama.

Ieškokite „Hugging Face“ iš programėlės vidaus, prieš atsisiųsdami sužinokite, ar modelis iš tikrųjų veiks jūsų įrenginyje, ir bendraukite su juo. Kiekvieną žetoną sukuria jūsų pačių įranga.

BET KOKIAS MODELIS, O NE KATALOGAS

Kitos įrenginyje įdiegtos programėlės pateikia trumpą sąrašą, kurį pasirinko kažkas kitas. „OpenWeights“ pateikia jums centrą. Jei kas nors prieš valandą paskelbė GGUF, galite jį paleisti.

SĄŽININGAS APIE SAVO ĮRENGINĮ

Prieš išleisdama gigabaitus, programėlė nuskaito modelio antraštę tinkle ir praneša, ko jai reikia esant pasirinktam konteksto ilgiui, maždaug koks bus jo greitis ir ar jis apskritai veiks jūsų telefone.

TIKRIEJI SKAIČIAI PRIEŠAIS JUS

Žetonai per sekundę, laikas iki pirmojo žetono ir konteksto lango užpildymas, rodomi pokalbio metu, o ne paslėpti.

JŪSŲ DERINIMAS

Temperatūra, top-p, top-k, pakartojimo bauda, ​​konteksto ilgis, sistemos raginimas ir tai, kas modeliui nurodoma apie jo įrankius – visa tai išsaugoma kiekvienam modeliui. Modelis gali pagalvoti prieš atsakydamas, o tai taip pat yra perjungimas, o telefone su veikiančia GPU galite nurodyti, kuris procesorius saugo sluoksnius.

DAUGIAU NEI TEKSTAS

Vaizdai ir garsas modeliams, kurie jiems pateikia projektorių, dokumentai, kuriuos gali skaityti bet kuris modelis, diktavimas per jūsų telefono įrenginio atpažinimo funkciją ir skaitymas garsiai.

PAGALBININKAS, KURIS GALI VEIKTI

Modelis gali ieškoti internete, skaityti puslapį ir dirbti su aplanku, kurį pasirenkate bendrinti. Jūs nusprendžiate, kiek virvės jis gaus: patvirtinkite kiekvieną žingsnį, leiskite jam veikti arba paprašykite jo pirmiausia suplanuoti ir pasakyti, ką jis darytų, kol kas nors neįvyks. Jis gali užduoti jums patikslinantį klausimą ir vadovautis kontroliniu sąrašu, kurį galite patys pažymėti. Kiekvieną įrankį galima išjungti.

PRIVATUMAS (STATYBOS ATSTOVYBĖ)

Jūsų pokalbiai, jūsų modeliai ir jūsų naudojimas lieka įrenginyje. Nėra nei analizės SDK, nei gedimų registravimo įrankio, nei mūsų vidinio serverio. Automatinis atsarginių kopijų kūrimas ir įrenginių perkėlimas yra išjungti, todėl naujas telefonas nepaveldi jūsų pokalbių. Pašalinus programą, viskas pašalinama.

Internetą pasiekia dvi priemonės, nes jos privalo: žiniatinklio paieška ir puslapių gavimas. Abi yra išvardytos po antrašte, kurioje nurodyta, kad jos palieka įrenginį, abi galima išjungti, o kiekvienas skambutis atsakyme yra eilutėje, kurioje nurodomas jo pavadinimas ir tai, kas jam buvo duota. Jūsų „Hugging Face“ prieigos raktas, jei jį nustatote, yra užšifruotas raktu, saugomu „Android Keystore“, ir siunčiamas tik „Hugging Face“.

KO JUMS REIKIA

„Android 12“ ar naujesnė versija, 64 bitų ARM įrenginys ir pakankamai atminties pasirinktam modeliui. Programėlė jus informuos prieš atsisiunčiant.

Modeliai gaunami iš trečiųjų šalių. Jūs pasirenkate, kurį paleisti, o tai, kas nurodyta, yra jo leidėjo, o ne mūsų darbas. Atvirojo kodo programa, adresu github.com/alpharomercoma/openweights.

Kas naujo

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model