OpenWeights: Edge Inference

Alpha Romer Coma

Par šo lietotni

OpenWeights palaiž atvērtā svara valodu modeļus tieši jūsu tālrunī. Nav jāizveido konts, nav servera, ar ko sazināties, un nekas netiek mērīts par jums.

Meklējiet Hugging Face no lietotnes iekšienes, uzziniet, vai modelis patiešām darbosies jūsu ierīcē, pirms to lejupielādējat, un tērzējiet ar to. Katru marķieri ģenerē jūsu pašu aparatūra.

JEBKURS MODELIS, NEVIS KATALOGS

Citas ierīces lietotnes sniedz jums īsu sarakstu, ko kāds cits ir izvēlējies. OpenWeights sniedz jums Hub. Ja kāds pirms stundas publicēja GGUF, jūs varat to palaist.

GODĪGI PAR SAVU IERĪCI

Pirms gigabaitu tērēšanas lietotne nolasa modeļa galveni tīklā un pasaka, kas tai nepieciešams jūsu izvēlētajā konteksta garumā, aptuveni cik ātrs tas būs un vai tas vispār darbosies jūsu tālrunī.

REĀLI SKAITĻI JŪSU PRIEKŠĀ

Žetoni sekundē, laiks līdz pirmajam marķierim un konteksta loga piepildījums, kas tiek rādīti tērzēšanas laikā, nevis paslēpti.

JŪSU PIELĀGOŠANAS DARBĪBAS

Temperatūra, top-p, top-k, atkārtojumu sods, konteksta garums, sistēmas uzvedne un informācija par modeļa rīkiem — viss tiek saglabāts katram modelim. Modelis var padomāt pirms atbildes sniegšanas, taču tā ir arī pārslēgšanās, un tālrunī ar darbojošos GPU varat norādīt, kurš procesors glabā slāņus.

VAIRĀK NEKĀ TEKSTS

Attēli un audio modeļi, kas piegādā projektoru, dokumenti, ko var lasīt jebkurš modelis, diktēšana, izmantojot tālruņa iebūvēto atpazīšanas funkciju, un skaļa nolasīšana.

ASISTENTS, KAS VAR DARBĪTIES

Modelis var meklēt tīmeklī, lasīt lapu un strādāt ar mapi, kuru izvēlaties kopīgot. Jūs izlemjat, cik daudz virves tas saņems: apstipriniet katru soli, ļaujiet tam darboties vai palūdziet tam vispirms plānot un pateikt, ko tas darītu, pirms kaut kas notiek. Tas var uzdot jums precizējošu jautājumu un sekot kontrolsarakstam, kuru varat pats atzīmēt. Katru rīku var izslēgt.

PRIVĀTS PĒC KONSTRUKCIJAS

Jūsu sarunas, modeļi un lietojums paliek ierīcē. Nav analītikas SDK, nav avāriju ziņotāja un nav mūsu iekšējās sistēmas. Automātiskā dublēšana un ierīču pārsūtīšana ir izslēgta, tāpēc jauns tālrunis nemanto jūsu tērzēšanas sarunas. Atinstalēšana noņem visu.

Divi rīki sasniedz internetu, jo tiem tas ir jādara: tīmekļa meklēšana un lapu ielāde. Abi ir uzskaitīti zem virsraksta, kurā teikts, ka tie atstāj ierīci, abus var izslēgt, un katrs veiktais zvans atbildē ir rinda, kurā norādīts tā nosaukums un saņemtā informācija. Jūsu Hugging Face žetons, ja tādu iestatāt, tiek šifrēts ar atslēgu, kas glabājas Android atslēgu krātuvē, un tiek nosūtīts tikai Hugging Face.

KAS JUMS NEPIECIEŠAMS

Android 12 vai jaunāka versija, 64 bitu ARM ierīce un pietiekami daudz atmiņas izvēlētajam modelim. Lietotne jums to pateiks pirms lejupielādes.

Modeļi nāk no trešajām pusēm. Jūs izvēlaties, kuru palaist, un tas, kas tiek rakstīts, ir tā izdevēja darbs, nevis mūsu darbs. Atvērtā pirmkoda programmatūra, pieejama vietnē github.com/alpharomercoma/openweights.

Jaunumi

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model