OpenWeights: Edge Inference

Alpha Romer Coma

Осы қолданба туралы

OpenWeights ашық салмақты тілдегі модельдерді тікелей телефоныңызда іске қосады. Тіркелгі жасау, сервермен сөйлесу және сіз туралы ештеңе өлшенбейді.

Қолданбаның ішінен Hugging Face іздеңіз, модельді жүктемес бұрын құрылғыңызда жұмыс істейтінін біліп, онымен чат арқылы сөйлесіңіз. Әрбір токенді сіздің жеке жабдығыңыз жасайды.

КЕЗ КЕЛГЕН МОДЕЛЬ, КАТАЛОГ ЕМЕС

Құрылғыдағы басқа қолданбалар сізге басқа біреу таңдаған қысқа тізімді береді. OpenWeights сізге Hub береді. Егер біреу бір сағат бұрын GGUF жарияласа, сіз оны іске қоса аласыз.

ҚҰРЫЛҒЫҢЫЗ ТУРАЛЫ АШЫҚ БОЛЫҢЫЗ

Гигабайт жұмсамас бұрын, қолданба модельдің тақырыбын желі арқылы оқиды және сіз таңдаған контекст ұзындығында не қажет екенін, шамамен қаншалықты жылдам болатынын және телефоныңызда жұмыс істейтінін айтады.

СІЗДІҢ АЛДЫҢЫЗДАҒЫ НАҚТЫ САНДАР

Секундына токендер, бірінші токенге дейінгі уақыт және контекст терезесінің қаншалықты толы екендігі жасырын емес, чат арқылы көрсетіледі.

РЕТТЕУ СІЗДІҢ ҚОЛЫҢЫЗДА

Температура, жоғарғы-p, жоғарғы-k, қайталау айыппұлы, контекст ұзындығы, жүйе сұрауы және модельге оның құралдары туралы не айтылғаны, барлығы модель үшін сақталады. Модель жауап бермес бұрын ойлана алатын жерде бұл да коммутатор, ал жұмыс істейтін GPU бар телефонда қабаттарды қай процессор ұстайтынын айта аласыз.

МӘТІНДЕН КӨП

Оларға проектор жіберетін модельдерге арналған суреттер мен аудио, кез келген модель оқи алатын құжаттар, телефоныңыздың құрылғыдағы тану құралы арқылы диктант және дауыстап оқи алады.

ӘРЕКЕТ ЕТЕ АЛАТЫН КӨМЕКШІ

Модель интернетте іздей алады, бетті оқи алады және бөлісуді таңдаған қалтамен жұмыс істей алады. Оның қанша алатынын сіз өзіңіз шешесіз: әр қадамды мақұлдайсыз, іске қосуға мүмкіндік бересіз немесе алдымен жоспарлауды сұрайсыз және бірдеңе болмас бұрын не істейтінін айтасыз. Ол сізге нақтылау сұрауы және өзіңіз белгілей алатын тексеру тізімін орындауы мүмкін. Әрбір құралды өшіруге болады.

ҚҰРЫЛЫС БОЙЫНША ЖЕКЕ

Сіздің әңгімелеріңіз, модельдеріңіз және пайдалануыңыз құрылғыда қалады. Біздің аналитикалық SDK, апат туралы есеп беруші және артқы жағы жоқ. Автоматты сақтық көшірме жасау және құрылғыны тасымалдау өшірілген, сондықтан жаңа телефон сіздің чаттарыңызды мұра етпейді. Жою бәрін жояды.

Интернетке екі құрал жетеді, себебі олар: веб-іздеу және бетті алу. Екеуі де құрылғыдан шығатын тақырып астында көрсетілген, екеуін де өшіруге болады және жасалған әрбір қоңырау жауапта оның атауы мен берілгені көрсетілген жол болып табылады. Егер сіз оны орнатсаңыз, сіздің Hugging Face токеніңіз Android кілт қоймасында сақталған кілтпен шифрланады және тек Hugging Face-ке жіберіледі.

СІЗГЕ ҚАЖЕТ НӘРСЕ

Android 12 немесе одан кейінгі нұсқасы, 64 биттік ARM құрылғысы және сіз таңдаған модель үшін жеткілікті жад. Қолданба сізге жүктемес бұрын хабарлайды.

Модельдер үшінші тараптардан келеді. Қайсысын іске қосу керектігін сіз таңдайсыз, ал ол біздікі емес, оның баспагерінің жұмысы туралы айтады. Ашық бастапқы код, github.com/alpharomercoma/openweights сайтында.

Жаңа функциялар

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model