OpenWeights: Edge Inference

Alpha Romer Coma

Пра гэту праграму

OpenWeights запускае мадэлі моў з адкрытай вагой непасрэдна на вашым тэлефоне. Няма неабходнасці ствараць уліковы запіс, мець зносіны на серверы і нічога не вымяраецца пра вас.

Знайдзіце Hugging Face у дадатку, даведайцеся, ці будзе мадэль сапраўды працаваць на вашай прыладзе, перш чым загрузіць яе, і паразмаўляйце з ёй. Кожны токен ствараецца вашым уласным абсталяваннем.

ЛЮБАЯ МАДЭЛЬ, А НЕ КАТАЛОГ

Іншыя праграмы на прыладзе даюць вам кароткі спіс, які выбраў хтосьці іншы. OpenWeights дае вам Hub. Калі хтосьці апублікаваў GGUF гадзіну таму, вы можаце яго запусціць.

ШЧЫРАЯ ІНФАРМАЦЫЯ АБ ВАШАЙ ПРЫЛАДЗЕ

Перад тым, як вы выдаткуеце гігабайты, праграма зчытвае загаловак мадэлі па сетцы і паведамляе вам, што ёй трэба ў выбранай вамі даўжыні кантэксту, прыблізна наколькі хутка гэта будзе і ці будзе яна наогул працаваць на вашым тэлефоне.

РЭАЛЬНЫЯ ЛІЧБЫ, ПЕРАД ВАМІ

Токены ў секунду, час да першага токена і тое, наколькі запоўнена акно кантэксту, адлюстроўваюцца падчас чата, а не схаваныя.

НАЛАДКА ВАША

Тэмпература, top-p, top-k, штраф за паўтарэнне, даўжыня кантэксту, сістэмны запыт і тое, што мадэлі паведамляюць пра яе інструменты, усё захоўваецца для кожнай мадэлі. Там, дзе мадэль можа падумаць, перш чым адказаць, гэта таксама перамыкач, і на тэлефоне з працоўным графічным працэсарам вы можаце сказаць, які працэсар утрымлівае пласты.

БОЛЬШ, ЧЫМ ТЭКСТ

Выявы і аўдыё для мадэляў, якія пастаўляюцца з праектарам, дакументы, якія можа прачытаць любая мадэль, дыктоўка праз уласны распазнавальнік вашага тэлефона і чытанне ўслых.

ПАМОЧНІК, ЯКІ МОЖА ДЗЕЯЦЬ

Мадэль можа шукаць у Інтэрнэце, чытаць старонку і працаваць з папкай, якой вы вырашыце падзяліцца. Вы вырашаеце, колькі вяровак яна атрымае: ухваляйце кожны крок, дайце яму працаваць або папрасіце яго спачатку спланаваць і сказаць, што ён будзе рабіць, перш чым што-небудзь адбудзецца. Ён можа задаць вам удакладняльнае пытанне і прытрымлівацца кантрольнага спісу, які вы можаце адзначыць самі. Кожны інструмент можна адключыць.

ПРЫВАТНА ПА СПЕЦЫЯЛЬНАЙ КАНСТРУКЦЫІ

Вашы размовы, вашы мадэлі і ваша выкарыстанне застаюцца на прыладзе. Няма аналітычнага SDK, няма справаздачы аб збоях і няма нашага бэкенда. Аўтаматычнае рэзервовае капіраванне і перанос прылад адключаны, таму новы тэлефон не атрымлівае вашы чаты ў спадчыну. Выдаленне выдаляе ўсё.

Дзве прылады сапраўды дасягаюць Інтэрнэту, таму што яны павінны: вэб-пошук і загрузка старонак. Абодва пералічаны пад загалоўкам, які кажа, што яны пакідаюць прыладу, абодва можна адключыць, і кожны званок, які вы робіце, - гэта радок у адказе, які называе яго і што яму было дадзена. Ваш токен Hugging Face, калі вы яго ўсталявалі, шыфруецца ключом, які захоўваецца ў сховішчы ключоў Android, і адпраўляецца толькі Hugging Face.

ШТО ВАМ ПАТРЭБНА

Android 12 або больш новая версія, 64-бітная прылада ARM і дастаткова памяці для абранай вамі мадэлі. Праграма паведаміць вам перад загрузкай.

Мадэлі пастаўляюцца ад трэціх асоб. Вы выбіраеце, якую з іх запускаць, і тое, што яна кажа, з'яўляецца працай яе выдаўца, а не нашай. Адкрыты зыходны код, на github.com/alpharomercoma/openweights.

Што новага

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model