OpenWeights: Edge Inference

Alpha Romer Coma

Aplikazio honi buruz

OpenWeights-ek hizkuntza-eredu irekiak zuzenean exekutatzen ditu zure telefonoan. Ez dago konturik sortu beharrik, ez dago hitz egiteko zerbitzaririk, eta ez dago ezer neurtuta zure inguruan.

Bilatu Hugging Face aplikazioaren barrutik, jakin ezazu ea eredu bat benetan exekutatuko den zure gailuan deskargatu aurretik, eta txateatu harekin. Token bakoitza zure hardwareak sortzen du.

EDOZEIN EREDU, EZ KATALOGO BAT

Gailuko beste aplikazio batzuek beste norbaitek aukeratutako zerrenda labur bat ematen dizute. OpenWeights-ek Hub-a ematen dizu. Norbaitek GGUF bat argitaratu badu duela ordubete, exekutatu dezakezu.

ZINTZOA ZURE GAILUAREN INGURUAN

Gigabyteak gastatu aurretik, aplikazioak ereduaren goiburua irakurtzen du sarean eta esaten dizu zer behar duen aukeratu duzun testuinguru-luzeran, gutxi gorabehera zein azkar izango den eta zure telefonoan exekutatuko den.

ZENBAKI ERREALAK, ZURE AURREAN

Tokenak segundoko, lehen tokenerako denbora eta testuinguru-leihoa zenbat beteta dagoen, txateatzen ari zaren bitartean erakusten dira, ezkutuan egon beharrean.

ZUREA DOITUZKOA

Tenperatura, goiko p, goiko k, errepikapen zigorra, testuinguruaren luzera, sistemaren gonbidapena eta modeloari bere tresnei buruz esaten zaiona, guztiak modelo bakoitzeko gordeta. Modelo batek erantzun aurretik pentsatu dezakeenean ere etengailu bat da, eta GPU funtzionala duen telefono batean esan dezakezu zein prozesadore dauden geruzak.

TESTUA BAINO GEHIAGO

Proiektore bat bidaltzen dieten modeloen irudiak eta audioa, edozein modelok irakur ditzakeen dokumentuak, zure telefonoaren gailuko ezagutugailuaren bidez diktaketa eta ozen irakurketa.

EKIN DEZAKEEN LAGUNTZAILE BAT

Modeloak webean bilatu dezake, orrialde bat irakurri eta partekatzeko aukeratzen duzun karpeta batekin lan egin. Zuk erabakitzen duzu zenbat soka jasoko duen: urrats bakoitza onartu, exekutatzen utzi edo lehenik planifikatzeko eta ezer gertatu aurretik zer egingo lukeen esateko eskatu. Argitzeko galdera bat egin diezazuke eta zuk zeuk markatu dezakezun kontrol-zerrenda bat jarraitu. Tresna guztiak itzali daitezke.

ERAIKUNTZA BIDEZ PRIBATUA

Zure elkarrizketak, zure modeloak eta zure erabilera gailuan geratzen dira. Ez dago analisi SDKrik, ez hutsegiteen berri emateko zerbitzurik, ezta gure backend-ik ere. Babeskopia automatikoak eta gailuen transferentzia desaktibatuta daude, beraz, telefono berri batek ez ditu zure txatak heredatzen. Desinstalatzeak dena ezabatzen du.

Bi tresna iristen dira internetera, hala egin behar dutelako: web bilaketa eta orrialdeak eskuratzea. Biak gailutik irteten direla dioen izenburu baten azpian zerrendatzen dira, biak desaktibatu daitezke, eta egiten den dei bakoitza erantzunaren errenkada bat da, izena eta eman zaiona adierazten duena. Zure Hugging Face tokena, bat ezartzen baduzu, Android Keystore-n dagoen gako batekin enkriptatuta dago eta Hugging Face-ri bakarrik bidaltzen zaio.

ZER BEHAR DUZU

Android 12 edo berriagoa, 64 biteko ARM gailu bat eta aukeratzen duzun modeloarentzako memoria nahikoa. Aplikazioak deskargatu aurretik esango dizu.

Modeloak hirugarrenen eskutik datoz. Zuk aukeratzen duzu zein exekutatu, eta esaten duena argitaratzailearen lana da, gurea baino. Kode irekikoa, github.com/alpharomercoma/openweights helbidean.

Berritasunak

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.