OpenWeights: Edge Inference

Alpha Romer Coma

Meer oor hierdie app

OpenWeights laat oopgewig-taalmodelle direk op jou foon loop. Daar is geen rekening om te skep nie, geen bediener om mee te praat nie, en niks wat aan jou gemeet word nie.

Soek "Hugging Face" van binne die toepassing, vind uit of 'n model werklik op jou toestel sal loop voordat jy dit aflaai, en gesels daarmee. Elke teken word deur jou eie hardeware vervaardig.

ENIGE MODEL, NIE 'N KATALOGUS NIE

Ander toepassings op die toestel gee jou 'n kortlys wat iemand anders gekies het. OpenWeights gee jou die Hub. As iemand 'n uur gelede 'n GGUF gepubliseer het, kan jy dit laat loop.

EERLIK OOR JOU TOESTEL

Voordat jy gigagrepe spandeer, lees die toepassing die model se koptekst oor die netwerk en vertel jou wat dit nodig het teen die kontekslengte wat jy gekies het, ongeveer hoe vinnig dit sal wees, en of dit enigsins op jou foon sal loop.

REGTE GETALLE, VOOR JOU

Tekens per sekonde, tyd tot eerste teken, en hoe vol die konteksvenster is, word getoon terwyl jy gesels eerder as versteek.

JOUNE OM TE STEM

Temperatuur, top-p, top-k, herhalingsstraf, kontekslengte, die stelselprompt en wat die model oor sy gereedskap vertel word, alles per model gestoor. Waar 'n model kan dink voordat dit antwoord, is dit ook 'n skakelaar, en op 'n foon met 'n werkende GPU kan jy sê watter verwerker die lae hou.

MEER AS TEKS

Beelde en klank vir modelle wat 'n projektor daarvoor stuur, dokumente wat enige model kan lees, diktee deur jou foon se eie toestelherkenner, en hardop lees.

'N ASSISTENT WAT KAN OPTREE

Die model kan die web deursoek, 'n bladsy lees en werk met 'n vouer wat jy kies om te deel. Jy besluit hoeveel tou dit kry: keur elke stap goed, laat dit loop, of vra dit om eers te beplan en te sê wat dit sou doen voordat enigiets gebeur. Dit kan jou 'n verduidelikende vraag vra en 'n kontrolelys volg wat jy self kan merk. Elke gereedskap kan afgeskakel word.

PRIVAAT DEUR KONSTRUKSIE

Jou gesprekke, jou modelle en jou gebruik bly op die toestel. Daar is geen analitiese SDK, geen ongeluksverslaggewer en geen agterkant van ons nie. Outomatiese rugsteun en toesteloordrag is afgeskakel, so 'n nuwe foon erf nie jou geselsies nie. Deïnstallering verwyder alles.

Twee gereedskap bereik wel die internet, want hulle moet: websoektog en bladsyophaling. Beide word gelys onder 'n opskrif wat sê hulle verlaat die toestel, albei kan afgeskakel word, en elke oproep wat 'n mens maak, is 'n ry in die antwoord wat dit noem en wat dit gegee is. Jou Hugging Face-token, as jy een stel, word geïnkripteer met 'n sleutel wat in die Android-sleutelstoor gehou word en word slegs na Hugging Face gestuur.

WAT JY NODIG HET

Android 12 of nuwer, 'n 64-bis ARM-toestel en genoeg geheue vir die model wat jy kies. Die toepassing sal jou vertel voordat jy aflaai.

Modelle kom van derde partye. Jy kies watter een om te gebruik, en wat dit sê, is die uitgewer se werk eerder as ons s'n. Oopbron, by github.com/alpharomercoma/openweights.

Wat's nuut

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model