OpenWeights pokreće jezične modele otvorene težine izravno na vašem telefonu. Nema računa za kreiranje, nema poslužitelja za razgovor i ništa se ne mjeri o vama.
Pretražite Hugging Face unutar aplikacije, saznajte hoće li se model zapravo pokrenuti na vašem uređaju prije nego što ga preuzmete i razgovarajte s njim. Svaki token proizvodi vaš vlastiti hardver.
BILO KOJI MODEL, NE KATALOG
Druge aplikacije na uređaju daju vam kratki popis koji je netko drugi odabrao. OpenWeights vam daje Hub. Ako je netko objavio GGUF prije sat vremena, možete ga pokrenuti.
ISKREN O VAŠEM UREĐAJU
Prije nego što potrošite gigabajte, aplikacija čita zaglavlje modela preko mreže i govori vam što joj je potrebno u odabranoj duljini konteksta, otprilike koliko će biti brzo i hoće li se uopće pokrenuti na vašem telefonu.
PRAVI BROJEVI, ISPRED VASA
Tokeni u sekundi, vrijeme do prvog tokena i koliko je pun kontekstni prozor, prikazani su dok razgovarate, a ne skriveni.
VAŠE ZA PODEŠAVANJE
Temperatura, top-p, top-k, kazna za ponavljanje, duljina konteksta, sistemski upit i što se modelu govori o njegovim alatima, sve se sprema po modelu. Gdje model može razmišljati prije nego što odgovori, to je također prekidač, a na telefonu s funkcionalnom grafičkom karticom možete reći koji procesor drži slojeve.
VIŠE OD TEKSTA
Slike i zvuk za modele koji isporučuju projektor, dokumenti koje bilo koji model može pročitati, diktiranje putem vlastitog prepoznavača na uređaju vašeg telefona i čitanje naglas.
ASISTENT KOJI MOŽE DJELOVATI
Model može pretraživati web, čitati stranicu i raditi s mapom koju odaberete dijeliti. Vi odlučujete koliko će uzda dobiti: odobrite svaki korak, pustite ga da radi ili ga zamolite da prvo planira i kaže što će učiniti prije nego što se išta dogodi. Može vam postaviti pojašnjujuće pitanje i slijediti kontrolnu listu koju sami možete označiti. Svaki alat može se isključiti.
PRIVATNO PO KONSTRUKCIJI
Vaši razgovori, vaši modeli i vaša upotreba ostaju na uređaju. Nema analitičkog SDK-a, nema izvješća o padu sustava, niti našeg pozadinskog sustava. Automatska izrada sigurnosnih kopija i prijenos uređaja su isključeni, tako da novi telefon ne nasljeđuje vaše chatove. Deinstalacija uklanja sve.
Dva alata dopiru do interneta jer moraju: web pretraživanje i dohvaćanje stranica. Oba su navedena pod naslovom koji kaže da napuštaju uređaj, oba se mogu isključiti, a svaki poziv koji se obavi je redak u odgovoru koji ga imenuje i što mu je dano. Vaš Hugging Face token, ako ga postavite, šifriran je ključem koji se nalazi u Android Keystoreu i šalje se samo Hugging Faceu.
ŠTO VAM JE POTREBNO
Android 12 ili noviji, 64-bitni ARM uređaj i dovoljno memorije za model koji odaberete. Aplikacija će vas obavijestiti prije preuzimanja.
Modeli dolaze od trećih strana. Vi birate koji ćete pokrenuti, a ono što piše je rad njegovog izdavača, a ne naš. Otvoreni kod, na github.com/alpharomercoma/openweights.
Pokrenite AI modele otvorene težine na svom telefonu. Nema računa, nema oblaka, nema telemetrije.