OpenWeights: Edge Inference

Alpha Romer Coma

Tentang aplikasi ini

OpenWeights menjalankan model bahasa open-weight langsung di ponsel Anda. Tidak perlu membuat akun, tidak perlu berkomunikasi dengan server, dan tidak ada data pribadi Anda yang diukur.

Cari Hugging Face dari dalam aplikasi, cari tahu apakah model tersebut benar-benar dapat dijalankan di perangkat Anda sebelum mengunduhnya, dan mengobrollah dengannya. Setiap token dihasilkan oleh perangkat keras Anda sendiri.

MODEL APA PUN, BUKAN KATALOG

Aplikasi lain di perangkat memberi Anda daftar pendek yang dipilih orang lain. OpenWeights memberi Anda Hub. Jika seseorang menerbitkan GGUF satu jam yang lalu, Anda dapat menjalankannya.

JUJUR TENTANG PERANGKAT ANDA

Sebelum Anda menghabiskan gigabyte, aplikasi membaca header model melalui jaringan dan memberi tahu Anda apa yang dibutuhkan pada panjang konteks yang Anda pilih, perkiraan kecepatannya, dan apakah model tersebut dapat dijalankan di ponsel Anda.

ANGKA NYATA, DI HADAPAN ANDA

Token per detik, waktu hingga token pertama, dan seberapa penuh jendela konteks, ditampilkan saat Anda mengobrol, bukan disembunyikan.

SEMUA YANG DAPAT DISESUAIKAN

Suhu, top-p, top-k, penalti pengulangan, panjang konteks, perintah sistem, dan apa yang diberitahukan model tentang alat-alatnya, semuanya disimpan per model. Kemampuan model untuk berpikir sebelum menjawab juga dapat diaktifkan, dan pada ponsel dengan GPU yang berfungsi, Anda dapat menentukan prosesor mana yang menyimpan lapisan-lapisan tersebut.

LEBIH DARI SEKADAR TEKS

Gambar dan audio untuk model yang dilengkapi proyektor, dokumen yang dapat dibaca oleh model apa pun, dikte melalui pengenal di perangkat ponsel Anda, dan pembacaan suara.

ASISTEN YANG DAPAT BERTINDAK

Model dapat mencari di web, membaca halaman, dan bekerja dengan folder yang Anda pilih untuk dibagikan. Anda memutuskan seberapa besar kebebasan yang diberikan: menyetujui setiap langkah, membiarkannya berjalan, atau memintanya untuk merencanakan terlebih dahulu dan mengatakan apa yang akan dilakukannya sebelum sesuatu terjadi. Model dapat mengajukan pertanyaan klarifikasi kepada Anda dan mengikuti daftar periksa yang dapat Anda centang sendiri. Setiap alat dapat dimatikan.

PRIVASI SEJAK DIBUAT

Percakapan, model, dan penggunaan Anda tetap berada di perangkat. Tidak ada SDK analitik, tidak ada pelapor kerusakan, dan tidak ada backend dari kami. Pencadangan otomatis dan transfer perangkat dimatikan, sehingga ponsel baru tidak mewarisi obrolan Anda. Pencopotan instalasi akan menghapus semuanya.

Dua alat memang terhubung ke internet, karena memang harus: pencarian web dan pengambilan halaman. Keduanya tercantum di bawah judul yang menyatakan bahwa keduanya meninggalkan perangkat, keduanya dapat dimatikan, dan setiap panggilan yang dilakukan akan tercatat dalam balasan yang menyebutkan nama panggilan dan apa yang diberikan. Token Hugging Face Anda, jika Anda mengaturnya, dienkripsi dengan kunci yang disimpan di Android Keystore dan hanya dikirim ke Hugging Face.

YANG ANDA BUTUHKAN

Android 12 atau yang lebih baru, perangkat ARM 64-bit, dan memori yang cukup untuk model yang Anda pilih. Aplikasi akan memberi tahu Anda sebelum Anda mengunduh.

Model berasal dari pihak ketiga. Anda memilih model mana yang akan dijalankan, dan apa yang tertulis di dalamnya adalah karya penerbitnya, bukan karya kami. Sumber terbuka, di github.com/alpharomercoma/openweights.

Yang baru

Compiled models fixed, and a search that listens

- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once