OpenWeights: Edge Inference

Alpha Romer Coma

О овој апликацији

OpenWeights покреће моделе језика отворене тежине директно на вашем телефону. Нема налога за креирање, нема сервера за разговор и ништа се не мери о вама.

Претражите Hugging Face унутар апликације, сазнајте да ли ће модел заиста радити на вашем уређају пре него што га преузмете и ћаскате са њим. Сваки токен производи ваш сопствени хардвер.

БИЛО КОЈИ МОДЕЛ, НЕ КАТАЛОГ

Друге апликације на уређају вам дају кратак списак који је неко други изабрао. OpenWeights вам даје Hub. Ако је неко објавио GGUF пре сат времена, можете га покренути.

ИСКРЕНОСТ О ВАШЕМ УРЕЂАЈУ

Пре него што потрошите гигабајте, апликација чита заглавље модела преко мреже и говори вам шта јој је потребно на дужини контекста коју сте изабрали, отприлике колико ће бити брзо и да ли ће уопште радити на вашем телефону.

РЕАЛНИ БРОЈЕВИ, ПРЕД ВАМА

Токени у секунди, време до првог токена и колико је контекстуални прозор пун, приказују се док ћаскате, а не скривени.

ВАШЕ ПОДЕШАВАЊЕ

Температура, top-p, top-k, казна за понављање, дужина контекста, системски упит и шта је моделу речено о његовим алатима, све се чува по моделу. Где модел може да размишља пре него што одговори, то је такође прекидач, а на телефону са исправним графичким процесором можете рећи који процесор држи слојеве.

ВИШЕ ОД ТЕКСТА

Слике и звук за моделе који испоручују пројектор, документи које било који модел може да прочита, диктирање путем сопственог препознавача на уређају вашег телефона и читање наглас.

АСИСТЕНТ КОЈИ МОЖЕ ДА ДЕЛУЈЕ

Модел може да претражује веб, чита страницу и ради са фасциклом коју изаберете да делите. Ви одлучујете колико ће добити: одобрите сваки корак, пустите га да ради или га замолите да прво планира и каже шта би урадио пре него што се било шта деси. Може вам поставити разјашњење и пратити контролну листу коју можете сами да означите. Сваки алат се може искључити.

ПРИВАТНО ПО КОНСТРУКЦИЈИ

Ваши разговори, ваши модели и ваша употреба остају на уређају. Не постоји аналитички SDK, нема извештавања о падовима система, нити наш бекенд. Аутоматска резервна копија и пренос уређаја су искључени, тако да нови телефон не наслеђује ваше ћаскање. Деинсталирање уклања све.

Два алата доспевају на интернет, јер морају: веб претрага и преузимање страница. Оба су наведена под насловом који каже да напуштају уређај, оба се могу искључити, а сваки позив који неко обави је ред у одговору који га именује и шта му је дато. Ваш Hugging Face токен, ако га подесите, шифрован је кључем који се налази у Android Keystore-у и шаље се само Hugging Face-у.

ШТА ВАМ ЈЕ ПОТРЕБНО

Android 12 или новији, 64-битни ARM уређај и довољно меморије за модел који изаберете. Апликација ће вас обавестити пре него што преузмете.

Модели долазе од трећих страна. Ви бирате који ћете покренути, а оно што пише је рад његовог издавача, а не наш. Отворени код, на github.com/alpharomercoma/openweights.

Шта је ново

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model