OpenWeights: Edge Inference

Alpha Romer Coma

O ovoj aplikaciji

OpenWeights покреће моделе језика отворене тежине директно на вашем телефону. Нема налога за креирање, нема сервера за разговор и ништа се не мери о вама.

Претражите Hugging Face унутар апликације, сазнајте да ли ће модел заиста радити на вашем уређају пре него што га преузмете и ћаскате са њим. Сваки токен производи ваш сопствени хардвер.

БИЛО КОЈИ МОДЕЛ, НЕ КАТАЛОГ

Друге апликације на уређају вам дају кратак списак који је неко други изабрао. OpenWeights вам даје Hub. Ако је неко објавио GGUF пре сат времена, можете га покренути.

ИСКРЕНОСТ О ВАШЕМ УРЕЂАЈУ

Пре него што потрошите гигабајте, апликација чита заглавље модела преко мреже и говори вам шта јој је потребно на дужини контекста коју сте изабрали, отприлике колико ће бити брзо и да ли ће уопште радити на вашем телефону.

РЕАЛНИ БРОЈЕВИ, ПРЕД ВАМА

Токени у секунди, време до првог токена и колико је контекстуални прозор пун, приказују се док ћаскате, а не скривени.

ВАШЕ ПОДЕШАВАЊЕ

Температура, top-p, top-k, казна за понављање, дужина контекста, системски упит и шта је моделу речено о његовим алатима, све се чува по моделу. Где модел може да размишља пре него што одговори, то је такође прекидач, а на телефону са исправним графичким процесором можете рећи који процесор држи слојеве.

ВИШЕ ОД ТЕКСТА

Слике и звук за моделе који испоручују пројектор, документи које било који модел може да прочита, диктирање путем сопственог препознавача на уређају вашег телефона и читање наглас.

АСИСТЕНТ КОЈИ МОЖЕ ДА ДЕЛУЈЕ

Модел може да претражује веб, чита страницу и ради са фасциклом коју изаберете да делите. Ви одлучујете колико ће добити: одобрите сваки корак, пустите га да ради или га замолите да прво планира и каже шта би урадио пре него што се било шта деси. Може вам поставити разјашњење и пратити контролну листу коју можете сами да означите. Сваки алат се може искључити.

ПРИВАТНО ПО КОНСТРУКЦИЈИ

Ваши разговори, ваши модели и ваша употреба остају на уређају. Не постоји аналитички SDK, нема извештавања о падовима система, нити наш бекенд. Аутоматска резервна копија и пренос уређаја су искључени, тако да нови телефон не наслеђује ваше ћаскање. Деинсталирање уклања све.

Два алата доспевају на интернет, јер морају: веб претрага и преузимање страница. Оба су наведена под насловом који каже да напуштају уређај, оба се могу искључити, а сваки позив који неко обави је ред у одговору који га именује и шта му је дато. Ваш Hugging Face токен, ако га подесите, шифрован је кључем који се налази у Android Keystore-у и шаље се само Hugging Face-у.

ШТА ВАМ ЈЕ ПОТРЕБНО

Android 12 или новији, 64-битни ARM уређај и довољно меморије за модел који изаберете. Апликација ће вас обавестити пре него што преузмете.

Модели долазе од трећих страна. Ви бирате који ћете покренути, а оно што пише је рад његовог издавача, а не наш. Отворени код, на github.com/alpharomercoma/openweights.

Šta je novo

Compiled models fixed, and a search that listens

- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once