OpenWeights: Edge Inference

Alpha Romer Coma

Bu uygulama hakkında

OpenWeights, açık kaynaklı dil modellerini doğrudan telefonunuzda çalıştırır. Hesap oluşturmanıza, sunucuyla iletişim kurmanıza gerek yok ve sizinle ilgili hiçbir şey ölçülmez.

Uygulama içinden Hugging Face'i arayın, indirmeden önce bir modelin cihazınızda gerçekten çalışıp çalışmayacağını öğrenin ve onunla sohbet edin. Her token kendi donanımınız tarafından üretilir.

HERHANGİ BİR MODEL, KATALOG DEĞİL

Diğer cihaz içi uygulamalar size başkasının seçtiği kısa bir liste sunar. OpenWeights size Hub'ı sunar. Birisi bir saat önce bir GGUF yayınladıysa, onu çalıştırabilirsiniz.

CİHAZINIZ HAKKINDA DÜRÜST

Gigabaytlar harcamadan önce, uygulama modelin başlığını ağ üzerinden okur ve seçtiğiniz bağlam uzunluğunda neye ihtiyacı olduğunu, yaklaşık olarak ne kadar hızlı olacağını ve telefonunuzda çalışıp çalışmayacağını size söyler.

GERÇEK RAKAMLAR, ÖNÜNÜZDE

Saniyede token sayısı, ilk token'a ulaşma süresi ve bağlam penceresinin ne kadar dolu olduğu, sohbet ederken gizlenmek yerine gösterilir.

**SİZİN AYARLARINIZ**

Sıcaklık, en yüksek p, en yüksek k, tekrarlama cezası, bağlam uzunluğu, sistem istemi ve modelin araçları hakkında bilgilendirildiği her şey, model başına kaydedilir. Bir modelin cevap vermeden önce düşünebileceği bir anahtar da mevcuttur ve çalışan bir GPU'ya sahip bir telefonda hangi işlemcinin katmanları tuttuğunu belirtebilirsiniz.

**METİNDEN DAHA FAZLASI**

Projektörle birlikte gelen modeller için resimler ve sesler, herhangi bir modelin okuyabileceği belgeler, telefonunuzun kendi cihaz içi tanıyıcısı aracılığıyla dikte ve sesli okuma.

**HAREKETE GEÇEBİLEN BİR ASİSTAN**

Model web'de arama yapabilir, bir sayfayı okuyabilir ve paylaşmayı seçtiğiniz bir klasörle çalışabilir. Ne kadar hareket alanı vereceğinize siz karar verirsiniz: her adımı onaylayın, çalışmasına izin verin veya önce plan yapmasını ve bir şey olmadan önce ne yapacağını söylemesini isteyin. Size açıklayıcı bir soru sorabilir ve kendinizin işaretleyebileceği bir kontrol listesini takip edebilir. Her araç kapatılabilir.

ÖZEL YAPI

Konuşmalarınız, modelleriniz ve kullanımınız cihazda kalır. Analitik SDK, kilitlenme raporlayıcısı veya bizim arka uç sistemimiz yoktur. Otomatik yedekleme ve cihaz aktarımı kapalıdır, bu nedenle yeni bir telefon sohbetlerinizi devralmaz. Kaldırma işlemi her şeyi siler.

İki araç internete erişir, çünkü erişmeleri gerekir: web araması ve sayfa getirme. Her ikisi de cihazdan ayrıldıklarını belirten bir başlık altında listelenir, her ikisi de kapatılabilir ve yapılan her arama, yanıtta adını ve ne verildiğini belirten bir satır olarak kaydedilir. Bir Hugging Face belirteciniz varsa, Android Anahtar Deposu'nda tutulan bir anahtarla şifrelenir ve yalnızca Hugging Face'e gönderilir.

GEREKLİ OLANLAR

Android 12 veya daha yeni bir sürüm, 64 bit ARM cihaz ve seçtiğiniz model için yeterli bellek. Uygulama indirmeden önce size bunu söyleyecektir.

Modeller üçüncü taraflardan gelir. Hangisini çalıştıracağınızı siz seçersiniz ve ne söylediği bizim değil, yayıncısının çalışmasıdır. Açık kaynak kodlu, github.com/alpharomercoma/openweights adresinde.

Yenilikler

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.