OpenWeights: Edge Inference

Alpha Romer Coma

Informácie o aplikácii

OpenWeights spúšťa modely jazyka s otvorenou váhou priamo vo vašom telefóne. Nemusíte si vytvárať žiadny účet, nie je potrebné komunikovať so serverom a nič sa o vás nemeria.

Vyhľadajte Hugging Face priamo v aplikácii, zistite, či model skutočne beží na vašom zariadení ešte predtým, ako si ho stiahnete, a chatujte s ním. Každý token je vytvorený vaším vlastným hardvérom.

AKÝKOĽVEK MODEL, NIE KATALÓG

Iné aplikácie v zariadení vám poskytnú krátky zoznam, ktorý si vybral niekto iný. OpenWeights vám poskytne Hub. Ak niekto pred hodinou publikoval GGUF, môžete ho spustiť.

ÚPRIMNE O SVOJOM ZARIADENIE

Predtým, ako miniete gigabajty, aplikácia prečíta hlavičku modelu cez sieť a povie vám, čo potrebuje pri zvolenej dĺžke kontextu, približne ako rýchlo to bude a či to vôbec bude bežať na vašom telefóne.

SKUTOČNÉ ČÍSLA PRED VAMI

Tokeny za sekundu, čas do prvého tokenu a to, ako plné je kontextové okno, sa zobrazujú počas chatu, nie sú skryté.

NALAĎTE SI TO

Teplota, top-p, top-k, trest za opakovanie, dĺžka kontextu, systémová výzva a to, čo sa modelu hovorí o jeho nástrojoch, všetko sa ukladá pre každý model. Tam, kde model môže premýšľať predtým, ako odpovie, je to tiež prepínač a na telefóne s funkčnou grafickou kartou môžete určiť, ktorý procesor obsahuje vrstvy.

VIAC AKO TEXT

Obrázky a zvuk pre modely, ktoré majú projektor, dokumenty, ktoré môže čítať ktorýkoľvek model, diktovanie prostredníctvom vlastného rozpoznávača v zariadení vášho telefónu a čítanie nahlas.

ASISTENT, KTORÝ MÔŽE KONAŤ

Model môže vyhľadávať na webe, čítať stránku a pracovať s priečinkom, ktorý sa rozhodnete zdieľať. Vy rozhodujete, koľko väzieb dostane: schválite každý krok, nechajte ho bežať alebo ho požiadajte, aby najprv naplánoval a povedal, čo by urobil predtým, ako sa niečo stane. Môže vám položiť objasňujúcu otázku a riadiť sa kontrolným zoznamom, ktorý si môžete sami odškrtnúť. Každý nástroj je možné vypnúť.

SÚKROMNÉ PODĽA KONŠTRUKCIE

Vaše konverzácie, vaše modely a vaše používanie zostávajú v zariadení. Neexistuje žiadna analytická SDK, žiadny reportér zlyhaní ani náš backend. Automatické zálohovanie a prenos zariadení sú vypnuté, takže nový telefón nezdedí vaše chaty. Odinštalovaním sa všetko odstráni.

Dva nástroje sa dostanú na internet, pretože musia: vyhľadávanie na webe a načítanie stránok. Oba sú uvedené pod nadpisom, ktorý hovorí, že opúšťajú zariadenie, oba sa dajú vypnúť a každý hovor, ktorý uskutočníte, je v odpovedi riadok, ktorý ho pomenuje a čo mu bolo pridelené. Váš token Hugging Face, ak ho nastavíte, je šifrovaný kľúčom uchovávaným v úložisku kľúčov Android a odosiela sa iba aplikácii Hugging Face.

ČO POTREBUJETE

Android 12 alebo novší, 64-bitové zariadenie ARM a dostatok pamäte pre vami vybraný model. Aplikácia vám to pred stiahnutím oznámi.

Modely pochádzajú od tretích strán. Vy si vyberiete, ktorý z nich spustíte, a to, čo sa v ňom uvádza, je dielom jeho vydavateľa, nie našou prácou. Open source, na github.com/alpharomercoma/openweights.

Novinky

Compiled models fixed, and a search that listens

- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once