OpenWeights: Edge Inference

Alpha Romer Coma

Over deze app

OpenWeights voert open-weight taalmodellen rechtstreeks op je telefoon uit. Je hoeft geen account aan te maken, geen server te benaderen en er worden geen persoonlijke gegevens verzameld.

Zoek naar Hugging Face vanuit de app, ontdek of een model daadwerkelijk op je apparaat werkt voordat je het downloadt en chat ermee. Elk token wordt gegenereerd door je eigen hardware.

ELK MODEL, GEEN CATALOGUS

Andere apps voor op je apparaat geven je een korte lijst met modellen die iemand anders heeft gekozen. OpenWeights geeft je de Hub. Als iemand een uur geleden een GGUF heeft gepubliceerd, kun je die direct uitvoeren.

EERLIJK OVER JE APPARAAT

Voordat je gigabytes verbruikt, leest de app de header van het model via het netwerk en vertelt je wat het nodig heeft bij de door jou gekozen contextlengte, hoe snel het ongeveer zal werken en of het überhaupt op je telefoon zal werken.

ECHTE CIJFERS, VOOR JE NACHT

Tokens per seconde, de tijd tot het eerste token en hoe vol het contextvenster is, worden weergegeven tijdens het chatten in plaats van verborgen te blijven.

AANPASSINGEN VOOR UW MODEL

Temperatuur, top-p, top-k, herhalingsstraf, contextlengte, de systeemprompt en wat het model te horen krijgt over zijn tools, alles wordt per model opgeslagen. Een model kan ook eerst nadenken voordat het antwoord geeft (dit is een optie), en op een telefoon met een werkende GPU kunt u aangeven welke processor de lagen verwerkt.

MEER DAN TEKST

Afbeeldingen en audio voor modellen die een projector meeleveren, documenten die elk model kan lezen, dicteren via de ingebouwde spraakherkenner van uw telefoon en voorlezen.

EEN ASSISTENT DIE KAN HANDELEN

Het model kan op het web zoeken, een pagina lezen en werken met een map die u deelt. U bepaalt hoeveel vrijheid het krijgt: elke stap goedkeuren, het laten uitvoeren of het eerst laten plannen en aangeven wat het zou doen voordat er iets gebeurt. Het kan u een verduidelijkende vraag stellen en een checklist volgen die u zelf kunt afvinken. Elke tool kan worden uitgeschakeld.

PRIVÉ DOOR CONSTRUCTIE

Uw gesprekken, uw modellen en uw gebruik blijven op het apparaat. Er is geen analytics SDK, geen crashreporter en geen backend van ons. Automatische back-up en apparaatoverdracht zijn uitgeschakeld, zodat uw chats niet worden overgenomen op een nieuwe telefoon. Bij het verwijderen van de app wordt alles verwijderd.

Twee tools maken wel verbinding met internet, omdat dat nodig is: webzoekopdrachten en het ophalen van pagina's. Beide worden vermeld onder een kopje dat aangeeft dat ze het apparaat verlaten, beide kunnen worden uitgeschakeld en elke oproep die u doet, wordt weergegeven als een regel in het antwoord met de naam van de oproep en de ontvangen gegevens. Uw Hugging Face-token, indien u deze hebt ingesteld, wordt versleuteld met een sleutel die is opgeslagen in de Android Keystore en wordt alleen naar Hugging Face verzonden.

WAT U NODIG HEBT

Android 12 of nieuwer, een 64-bits ARM-apparaat en voldoende geheugen voor het model dat u kiest. De app zal u dit laten weten voordat u de app downloadt.

De modellen zijn afkomstig van derden. U kiest zelf welk model u wilt gebruiken en de informatie die het model weergeeft, is het werk van de uitgever, niet van ons. Open source, te vinden op github.com/alpharomercoma/openweights.

Wat is er nieuw

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model