OpenWeights: Edge Inference

Alpha Romer Coma

Informazioni sull'app

OpenWeights esegue modelli linguistici open-weight direttamente sul tuo telefono. Non è necessario creare un account, né comunicare con un server, e non vengono raccolte informazioni personali.

Cerca Hugging Face direttamente dall'app, verifica se un modello è effettivamente compatibile con il tuo dispositivo prima di scaricarlo e interagisci con esso tramite chat. Ogni token viene prodotto dal tuo hardware.

QUALSIASI MODELLO, NON UN CATALOGO

Altre app installate sul dispositivo ti offrono un elenco limitato di modelli selezionati da altri. OpenWeights ti offre l'Hub. Se qualcuno ha pubblicato un modello GGUF un'ora fa, puoi eseguirlo.

INFORMAZIONI TRASPARENTI SUL TUO DISPOSITIVO

Prima di consumare gigabyte, l'app legge l'intestazione del modello sulla rete e ti indica i requisiti necessari per la lunghezza del contesto che hai scelto, la velocità approssimativa di esecuzione e se il modello sarà compatibile con il tuo telefono.

DATI REALI, VISIBILE

Token al secondo, tempo di generazione del primo token e livello di riempimento della finestra di contesto, visualizzati durante la chat anziché nascosti.

PERSONALIZZABILE

Temperatura, top-p, top-k, penalità di ripetizione, lunghezza del contesto, prompt di sistema e informazioni sugli strumenti del modello: tutto viene salvato per ogni modello. È possibile impostare la possibilità per il modello di pensare prima di rispondere e, su un telefono con una GPU funzionante, specificare quale processore gestisce i layer.

MOLTO PIÙ CHE SEMPLICE TESTO

Immagini e audio per i modelli che includono un proiettore, documenti leggibili da qualsiasi modello, dettatura tramite il riconoscimento integrato del telefono e lettura ad alta voce.

UN ASSISTENTE CHE PUÒ AGIRE

Il modello può cercare sul web, leggere una pagina e lavorare con una cartella che si sceglie di condividere. Decidi tu quanta autonomia concedergli: approva ogni passaggio, lascialo agire in autonomia o chiedigli di pianificare prima e dire cosa farebbe. Può farti una domanda di chiarimento e seguire una checklist che puoi spuntare tu stesso. Ogni strumento può essere disattivato.

PRIVATO PER COSTRUZIONE

Le tue conversazioni, i tuoi modelli e il tuo utilizzo rimangono sul dispositivo. Non è presente alcun SDK di analisi, alcun sistema di segnalazione degli arresti anomali e nessun backend proprietario. Il backup automatico e il trasferimento del dispositivo sono disattivati, quindi un nuovo telefono non erediterà le tue chat. La disinstallazione rimuove tutto.

Due strumenti accedono a Internet, perché necessario: la ricerca web e il recupero delle pagine. Entrambi sono elencati sotto un'intestazione che indica che escono dal dispositivo, entrambi possono essere disattivati ​​e ogni chiamata effettuata da uno di essi è una riga nella risposta che ne indica il nome e il contenuto. Il tuo token di Hugging Face, se ne imposti uno, è crittografato con una chiave conservata nell'Android Keystore e viene inviato solo a Hugging Face.

REQUISITI

Android 12 o versioni successive, un dispositivo ARM a 64 bit e memoria sufficiente per il modello scelto. L'app ti indicherà i requisiti prima del download.

I modelli provengono da terze parti. Scegli quale eseguire e ciò che viene indicato è opera del suo autore, non nostra. Open source, su github.com/alpharomercoma/openweights.

Novità

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.