OpenWeights: Edge Inference

Alpha Romer Coma

Despre aplicație

OpenWeights rulează modele lingvistice cu ponderare deschisă direct pe telefonul tău. Nu trebuie să creezi un cont, nu trebuie să vorbești cu un server și nu se măsoară nimic despre tine.

Caută Hugging Face din interiorul aplicației, află dacă un model va rula efectiv pe dispozitivul tău înainte de a-l descărca și discută cu el. Fiecare token este produs de propriul tău hardware.

ORICE MODEL, NU UN CATALOG

Alte aplicații de pe dispozitiv îți oferă o listă scurtă aleasă de altcineva. OpenWeights îți oferă Hub-ul. Dacă cineva a publicat un GGUF acum o oră, îl poți rula.

SINCERIT DESPRE DISPOZITIVUL TĂU

Înainte de a cheltui gigabytes, aplicația citește antetul modelului prin rețea și îți spune ce are nevoie la lungimea contextului pe care ai ales-o, aproximativ cât de rapid va fi și dacă va rula deloc pe telefonul tău.

NUMERE REALE, ÎN FAȚA TA

Tokenuri pe secundă, timpul până la primul token și cât de plină este fereastra contextului, afișate în timp ce discuți, în loc să fie ascunse.

REGLAREA TA

Temperatura, top-p, top-k, penalizarea de repetare, lungimea contextului, promptul sistemului și ce i se spune modelului despre instrumentele sale, toate salvate pentru fiecare model. Acolo unde un model poate gândi înainte de a răspunde, există și un comutator, iar pe un telefon cu un GPU funcțional poți spune ce procesor deține straturile.

MAI MULT DECÂT TEXT

Imagini și audio pentru modelele care includ un proiector, documente pe care orice model le poate citi, dictare prin intermediul propriului recunoaștetor de pe dispozitivul telefonului și citire cu voce tare.

UN ASISTENT CARE POATE ACȚIONA

Modelul poate căuta pe web, poate citi o pagină și poate lucra cu un folder pe care alegi să-l partajezi. Tu decizi câtă responsabilitate primește: aprobi fiecare pas, îl lași să ruleze sau îi ceri să planifice mai întâi și să spună ce ar face înainte să se întâmple ceva. Îți poate pune o întrebare clarificatoare și poate urma o listă de verificare pe care o poți bifa singur. Fiecare instrument poate fi dezactivat.

PRIVAT PRIN CONSTRUCȚIE

Conversațiile tale, modelele tale și utilizarea ta rămân pe dispozitiv. Nu există un SDK de analiză, niciun raportor de erori și niciun backend al nostru. Copierea de rezervă automată și transferul dispozitivului sunt dezactivate, deci un telefon nou nu moștenește conversațiile dvs. Dezinstalarea elimină totul.

Două instrumente ajung pe internet, deoarece trebuie: căutarea web și preluarea paginilor. Ambele sunt listate sub un titlu care spune că părăsesc dispozitivul, ambele pot fi dezactivate, iar fiecare apel efectuat este un rând în răspunsul care îl numește și ce a fost dat. Tokenul dvs. Hugging Face, dacă setați unul, este criptat cu o cheie păstrată în Android Keystore și este trimis numai către Hugging Face.

CE AVEȚI NEVOIE

Android 12 sau mai nou, un dispozitiv ARM pe 64 de biți și suficientă memorie pentru modelul pe care îl alegeți. Aplicația vă va spune înainte de a descărca.

Modelele provin de la terți. Dumneavoastră alegeți pe care să îl rulați, iar ceea ce spune este munca editorului său, nu a noastră. Open source, la github.com/alpharomercoma/openweights.

Noutăți

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.