OpenWeights: Edge Inference

Alpha Romer Coma

Informace o aplikaci

OpenWeights spouští modely jazyka OpenWeight přímo ve vašem telefonu. Nemusíte si vytvářet žádný účet, nemusíte se s ním mluvit na serveru a nic se o vás neměří.

Vyhledejte si Hugging Face přímo v aplikaci, zjistěte, zda model skutečně poběží na vašem zařízení, než si ho stáhnete, a chatujte s ním. Každý token je vytvořen vaším vlastním hardwarem.

JAKÝKOLI MODEL, NE KATALOG

Ostatní aplikace v zařízení vám poskytnou krátký seznam, který si vybral někdo jiný. OpenWeights vám poskytne Hub. Pokud někdo před hodinou publikoval GGUF, můžete ho spustit.

UPŘÍMNĚ O SVÉM ZAŘÍZENÍ

Než utratíte gigabajty, aplikace přečte hlavičku modelu přes síť a řekne vám, co potřebuje v kontextové délce, kterou jste si vybrali, zhruba jak rychle to bude a zda to vůbec poběží na vašem telefonu.

SKUTEČNÁ ČÍSLA, PŘED VÁMI

Tokeny za sekundu, čas do prvního tokenu a jak plné je kontextové okno, zobrazené během chatu, nikoli skryté.

VAŠE NALADĚNÍ

Teplota, top-p, top-k, penalizace za opakování, délka kontextu, systémový výzva a to, co je modelu řečeno o jeho nástrojích, vše se ukládá pro každý model. Pokud model může před odpovědí přemýšlet, je to také přepínač a na telefonu s funkční grafickou kartou můžete určit, který procesor obsahuje vrstvy.

VÍCE NEŽ TEXT

Obrázky a zvuk pro modely, které dodávají projektor, dokumenty, které si může přečíst jakýkoli model, diktování prostřednictvím vlastního rozpoznávače v zařízení vašeho telefonu a čtení nahlas.

ASISTENT, KTERÝ MŮŽE JEDNAT

Model může prohledávat web, číst stránku a pracovat se složkou, kterou se rozhodnete sdílet. Vy rozhodujete, kolik úkolů dostane: schválit každý krok, nechat ho běžet nebo ho požádat, aby nejprve naplánoval a řekl, co by udělal, než se cokoli stane. Může vám položit upřesňující otázku a řídit se kontrolním seznamem, který si můžete sami odškrtnout. Každý nástroj lze vypnout.

SOUKROMÉ KONSTRUKCÍ

Vaše konverzace, vaše modely a vaše používání zůstávají v zařízení. Neexistuje žádná analytická SDK, žádný reportér pádů ani náš backend. Automatické zálohování a přenos zařízení jsou vypnuty, takže nový telefon nezdědí vaše chaty. Odinstalací se vše odstraní.

Dva nástroje se na internet dostanou, protože musí: webové vyhledávání a načítání stránek. Oba jsou uvedeny pod nadpisem, který říká, že opouštějí zařízení, oba lze vypnout a každý hovor, který uskutečníte, je v odpovědi řádkem, který jej pojmenuje a co mu bylo přiděleno. Váš token Hugging Face, pokud ho nastavíte, je šifrován klíčem uloženým v úložišti klíčů Android a je odeslán pouze aplikaci Hugging Face.

CO POTŘEBUJETE

Android 12 nebo novější, 64bitové zařízení ARM a dostatek paměti pro vámi zvolený model. Aplikace vám to před stažením sdělí.

Modely pocházejí od třetích stran. Vy si vyberete, který z nich spustíte, a to, co se v něm uvádí, je dílem jeho vydavatele, nikoli naším. Open source, na github.com/alpharomercoma/openweights.

Novinky

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.