OpenWeights: Edge Inference

Alpha Romer Coma

Perihal apl ini

OpenWeights menjalankan model bahasa open-weight terus pada telefon anda. Tiada akaun untuk dicipta, tiada pelayan untuk diajak bercakap, dan tiada apa yang diukur tentang anda.

Cari Hugging Face dari dalam aplikasi, ketahui sama ada model benar-benar akan berjalan pada peranti anda sebelum anda memuat turunnya, dan bersembang dengannya. Setiap token dihasilkan oleh perkakasan anda sendiri.

SEBARANG MODEL, BUKAN KATALOG

Aplikasi pada peranti lain memberikan anda senarai pendek yang dipilih oleh orang lain. OpenWeights memberikan anda Hab. Jika seseorang menerbitkan GGUF sejam yang lalu, anda boleh menjalankannya.

JUJUR TENTANG PERANTI ANDA

Sebelum anda membelanjakan gigabait, aplikasi membaca pengepala model melalui rangkaian dan memberitahu anda apa yang diperlukannya pada panjang konteks yang anda pilih, kira-kira berapa pantasnya, dan sama ada ia akan berjalan sama sekali pada telefon anda.

NOMBOR NYATA, DI HADAPAN ANDA

Token sesaat, masa untuk token pertama, dan betapa penuhnya tetingkap konteks, ditunjukkan semasa anda bersembang dan bukannya tersembunyi.

TALA UNTUK ANDA

Suhu, top-p, top-k, penalti ulangan, panjang konteks, gesaan sistem dan apa yang diberitahu kepada model tentang alatnya, semuanya disimpan setiap model. Di mana model boleh berfikir sebelum menjawab, itu juga merupakan suis, dan pada telefon dengan GPU yang berfungsi, anda boleh menyatakan pemproses mana yang memegang lapisan.

LEBIH DARIPADA TEKS

Imej dan audio untuk model yang menghantar projektor untuk mereka, dokumen yang boleh dibaca oleh mana-mana model, imlak melalui pengecam pada peranti telefon anda sendiri dan baca dengan kuat.

PEMBANTU YANG BOLEH BERTINDAK

Model boleh mencari di web, membaca halaman dan bekerja dengan folder yang anda pilih untuk kongsi. Anda yang menentukan berapa banyak tali yang diperolehnya: meluluskan setiap langkah, membiarkannya berjalan atau memintanya merancang terlebih dahulu dan menyatakan apa yang akan dilakukannya sebelum apa-apa berlaku. Ia boleh menanyakan soalan penjelasan kepada anda dan mengikuti senarai semak yang boleh anda tandakan sendiri. Setiap alat boleh dimatikan.

PERSENDIRIAN MELALUI PEMBINAAN

Perbualan anda, model anda dan penggunaan anda kekal pada peranti. Tiada SDK analitik, tiada pelapor ranap, dan tiada bahagian belakang kami. Sandaran automatik dan pemindahan peranti dimatikan, jadi telefon baharu tidak mewarisi sembang anda. Menyahpasang akan mengalih keluar semuanya.

Dua alat boleh sampai ke internet, kerana ia perlu: carian web dan pengambilan halaman. Kedua-duanya disenaraikan di bawah tajuk yang mengatakan ia meninggalkan peranti, kedua-duanya boleh dimatikan, dan setiap panggilan yang dibuat adalah baris dalam balasan yang menamakannya dan apa yang diberikan. Token Hugging Face anda, jika anda menetapkannya, disulitkan dengan kunci yang disimpan dalam Android Keystore dan hanya dihantar ke Hugging Face.

APA YANG ANDA PERLUKAN

Android 12 atau lebih baharu, peranti ARM 64-bit, dan memori yang mencukupi untuk model yang anda pilih. Aplikasi ini akan memberitahu anda sebelum anda memuat turun.

Model datang daripada pihak ketiga. Anda memilih yang mana satu untuk dijalankan, dan apa yang dikatakannya adalah karya penerbitnya dan bukannya karya kami. Sumber terbuka, di github.com/alpharomercoma/openweights.

Perkara baharu

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model