OpenWeights: Edge Inference

Alpha Romer Coma

Всичко за това приложение

OpenWeights изпълнява езикови модели с отворено тегло директно на вашия телефон. Няма акаунт за създаване, няма сървър, с който да се общува, и нищо не се измерва за вас.

Търсете в Hugging Face от приложението, разберете дали даден модел действително ще работи на вашето устройство, преди да го изтеглите, и чатете с него. Всеки токен се създава от вашия собствен хардуер.

ВСЯКЪВ МОДЕЛ, НЕ КАТАЛОГ

Други приложения на устройството ви предоставят кратък списък, избран от някой друг. OpenWeights ви предоставя Hub. Ако някой е публикувал GGUF преди час, можете да го стартирате.

ЧЕСТНО ЗА ВАШЕТО УСТРОЙСТВО

Преди да похарчите гигабайти, приложението прочита заглавката на модела през мрежата и ви казва от какво се нуждае при избраната от вас дължина на контекста, приблизително колко бързо ще бъде и дали изобщо ще работи на вашия телефон.

РЕАЛНИ ЧИСЛА, ПРЕД ВАС

Токени в секунда, време до първия токен и колко пълен е контекстният прозорец, показвани, докато чатите, а не скрити.

ВАШАТА НАСТРОЙКА

Температура, top-p, top-k, наказание за повторение, дължина на контекста, системната подкана и какво се казва на модела за неговите инструменти, всичко се запазва за всеки модел. Там, където моделът може да мисли, преди да отговори, това също е превключвател, а на телефон с работещ графичен процесор можете да кажете кой процесор държи слоевете.

ПОВЕЧЕ ОТ ТЕКСТ

Изображения и аудио за модели, които доставят проектор за тях, документи, които всеки модел може да чете, диктовка чрез собствения разпознавател на устройството на вашия телефон и четене на глас.

АСИСТЕНТ, КОЙТО МОЖЕ ДА ДЕЙСТВА

Моделът може да търси в мрежата, да чете страница и да работи с папка, която изберете да споделите. Вие решавате колко въоръжение получава: одобрявайте всяка стъпка, оставете го да работи или го помолете първо да планира и да каже какво би направил, преди да се случи нещо. Може да ви зададе уточняващ въпрос и да следва контролен списък, който можете сами да отметнете. Всеки инструмент може да бъде изключен.

ЛИЧНО ПО ИЗГРАЖДАНЕ

Вашите разговори, вашите модели и вашето използване остават на устройството. Няма SDK за анализи, няма отчет за сривове и няма наш бекенд. Автоматичното архивиране и прехвърлянето на устройства са изключени, така че нов телефон не наследява вашите чатове. Деинсталирането премахва всичко.

Два инструмента достигат до интернет, защото трябва: уеб търсене и извличане на страници. И двата са изброени под заглавие, което казва, че напускат устройството, и двата могат да бъдат изключени и всяко обаждане, което се прави, е ред в отговора, който го назовава и какво му е било дадено. Вашият Hugging Face токен, ако сте задали такъв, е криптиран с ключ, съхраняван в Android Keystore, и се изпраща само до Hugging Face.

КАКВО ВИ Е НУЖНО

Android 12 или по-нова версия, 64-битово ARM устройство и достатъчно памет за избрания от вас модел. Приложението ще ви каже, преди да изтеглите.

Моделите идват от трети страни. Вие избирате кой да стартирате и това, което пише, е работа на неговия издател, а не наша. Отворен код, на github.com/alpharomercoma/openweights.

Новите неща

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model