OpenWeights: Edge Inference

Alpha Romer Coma

За апликацијава

OpenWeights извршува модели на јазик со отворена тежина директно на вашиот телефон. Нема сметка за креирање, нема сервер со кој да разговарате и ништо не се мери за вас.

Пребарајте го Hugging Face од апликацијата, откријте дали моделот всушност ќе работи на вашиот уред пред да го преземете и разговарајте со него. Секој токен е произведен од вашиот сопствен хардвер.

БИЛО КОЈ МОДЕЛ, НЕ КАТАЛОГ

Други апликации на уредот ви даваат кратка листа што некој друг ја избрал. OpenWeights ви го дава Hub. Ако некој објавил GGUF пред еден час, можете да го стартувате.

ИСКРЕНИ ЗА ВАШИОТ УРЕД

Пред да потрошите гигабајти, апликацијата го чита заглавието на моделот преку мрежата и ви кажува што му е потребно на должината на контекстот што сте ја избрале, приближно колку брзо ќе биде и дали воопшто ќе работи на вашиот телефон.

ВИСТИНСКИ БРОЈКИ, ПРЕД ВАС

Токени во секунда, време до првиот токен и колку е полн контекстниот прозорец, прикажани додека разговарате, наместо скриени.

ВАШИ ЗА ПОСТАВУВАЊЕ

Температура, горе-p, горе-k, казна за повторување, должина на контекст, системски потсетник и што му е кажано на моделот за неговите алатки, сето тоа зачувано по модел. Онаму каде што моделот може да размисли пред да одговори, тоа е исто така прекинувач, а на телефон со функционална графичка картичка можете да кажете кој процесор ги содржи слоевите.

ПОВЕЌЕ ОД ТЕКСТ

Слики и аудио за моделите што испорачуваат проектор за нив, документи што секој модел може да ги прочита, диктат преку сопствениот препознавач на уредот на вашиот телефон и читање на глас.

АСИСТЕНТ КОЈ МОЖЕ ДА ДЕЛУВА

Моделот може да пребарува на интернет, да чита страница и да работи со папка што ќе изберете да ја споделите. Вие одлучувате колку јаже ќе добие: одобрувајте секој чекор, оставете го да работи или побарајте од него прво да планира и да каже што би направил пред да се случи нешто. Може да ви постави разјаснувачки прашање и да следи листа за проверка што можете сами да ја штиклирате. Секоја алатка може да се исклучи.

ПРИВАТНО ПО КОНСТРУКЦИЈА

Вашите разговори, вашите модели и вашата употреба остануваат на уредот. Нема аналитички SDK, нема известувач за падови и нема наш backend. Автоматското резервно копирање и преносот на уредот се исклучени, така што новиот телефон не ги наследува вашите разговори. Деинсталирањето отстранува сè.

Две алатки стигнуваат до интернет, бидејќи мораат: веб пребарување и преземање страници. И двете се наведени под наслов што вели дека го напуштаат уредот, и двете можат да се исклучат, а секој повик што се прави е ред во одговорот што го именува и што му е дадено. Вашиот токен за Hugging Face, ако поставите, е шифриран со клуч што се чува во Android Keystore и се испраќа само до Hugging Face.

ШТО ВИ ТРЕБА

Android 12 или понов, 64-битен ARM уред и доволно меморија за моделот што ќе го изберете. Апликацијата ќе ви каже пред да преземете.

Моделите доаѓаат од трети страни. Вие избирате кој да го стартувате, а она што го кажува е дело на неговиот издавач, а не наше. Со отворен код, на github.com/alpharomercoma/openweights.

Што има ново

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.