OpenWeights: Edge Inference

Alpha Romer Coma

Bu tətbiq haqqında

OpenWeights açıq çəki dil modellərini birbaşa telefonunuzda işlədir. Yaratmaq üçün heç bir hesab, danışmaq üçün heç bir server və sizin haqqınızda heç bir şey ölçülmür.

Tətbiqin içərisindən Hugging Face axtarın, bir modelin yükləməzdən əvvəl cihazınızda işləyib-işləməyəcəyini öyrənin və onunla söhbət edin. Hər bir token öz aparatınız tərəfindən istehsal olunur.

İSTƏNİLƏN MODEL, KATALOQ DEYİL

Cihazdakı digər tətbiqlər sizə başqasının seçdiyi qısa siyahı təqdim edir. OpenWeights sizə Hub təqdim edir. Kimsə bir saat əvvəl GGUF dərc edibsə, onu işlədə bilərsiniz.

CİHAZINIZ HAQQINDA DÜRÜST DİQQƏT

Gigabayt xərcləməzdən əvvəl, tətbiq modelin başlığını şəbəkə üzərindən oxuyur və seçdiyiniz kontekst uzunluğunda nəyə ehtiyac duyduğunu, təxminən nə qədər sürətli olacağını və ümumiyyətlə telefonunuzda işləyib-işləməyəcəyini sizə bildirir.

QARŞINIZDA HƏQİQİ RƏQƏMLƏR

Saniyada tokenlər, ilk tokenə qədər olan vaxt və kontekst pəncərəsinin nə qədər dolu olduğu, gizli deyil, söhbət edərkən göstərilir.

SİZİN TƏNZİMLƏMƏK

Temperatur, yuxarı-p, yuxarı-k, təkrar cəzası, kontekst uzunluğu, sistem sorğusu və modelə alətləri haqqında nə deyilir, hamısı model başına saxlanılır. Modelin cavab verməzdən əvvəl düşünə biləcəyi yer də bir keçiddir və işləyən GPU olan telefonda hansı prosessorun təbəqələri saxladığını deyə bilərsiniz.

MƏTNDƏN ÇOX

Onlar üçün proyektor göndərən modellər üçün şəkillər və audio, istənilən modelin oxuya biləcəyi sənədlər, telefonunuzun öz cihaz tanıyıcısı vasitəsilə diktə və ucadan oxumaq.

FƏALİYYƏT EDƏ BİLƏN BİR KÖMƏKÇİ

Model internetdə axtarış edə, səhifə oxuya və paylaşmaq üçün seçdiyiniz qovluqla işləyə bilər. Onun nə qədər ip alacağına siz qərar verirsiniz: hər addımı təsdiqləyin, işə salınmasına icazə verin və ya əvvəlcə planlaşdırmasını və bir şey baş verməzdən əvvəl nə edəcəyini söyləməsini xahiş edin. Sizə aydınlaşdırıcı sual verə və özünüz işarələyə biləcəyiniz yoxlama siyahısına əməl edə bilər. Hər bir alət söndürülə bilər.

TİKİNTİ TƏRƏFİNDƏN ÖZƏL

Söhbətləriniz, modelləriniz və istifadəniz cihazda qalır. Bizim analitik SDK, qəza hesabatı və arxa planımız yoxdur. Avtomatik ehtiyat nüsxə və cihaz ötürülməsi söndürülüb, buna görə də yeni telefon söhbətlərinizi miras almır. Silinmə hər şeyi silir.

İnternetə iki vasitə çatır, çünki onlar bunu etməlidirlər: veb axtarış və səhifə yükləmə. Hər ikisi cihazı tərk etdikləri, hər ikisi söndürülə biləcəyi və edilən hər zəng cavabda adını və nə verildiyini göstərən bir sətir altında sadalanır. Əgər birini təyin etmisinizsə, Hugging Face tokeniniz Android Açar Anbarında saxlanılan bir açarla şifrələnir və yalnız Hugging Face-a göndərilir.

SİZƏ LAZIM OLANLAR

Android 12 və ya daha yeni, 64 bitlik ARM cihazı və seçdiyiniz model üçün kifayət qədər yaddaş. Tətbiq yükləməzdən əvvəl sizə məlumat verəcək.

Modellər üçüncü tərəflərdən gəlir. Hansını işlədəcəyinizi seçirsiniz və dedikləri bizim deyil, onun naşirinin işidir. Açıq mənbə, github.com/alpharomercoma/openweights ünvanında.

Yeniliklər

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model