OpenWeights: Edge Inference

Alpha Romer Coma

Informacje o aplikacji

OpenWeights uruchamia otwarte modele językowe bezpośrednio na Twoim telefonie. Nie ma potrzeby tworzenia konta, serwera do komunikacji ani żadnych pomiarów dotyczących Ciebie.

Wyszukaj Hugging Face w aplikacji, sprawdź, czy model faktycznie uruchomi się na Twoim urządzeniu, zanim go pobierzesz, i porozmawiaj z nim. Każdy token jest generowany przez Twój własny sprzęt.

DOWOLNY MODEL, NIE KATALOG

Inne aplikacje na urządzeniu udostępniają Ci krótką listę, którą wybrał ktoś inny. OpenWeights udostępnia Ci Centrum. Jeśli ktoś opublikował GGUF godzinę temu, możesz go uruchomić.

UCZCIWOŚĆ WOBEC TWOJEGO URZĄDZENIA

Zanim wydasz gigabajty, aplikacja odczyta nagłówek modelu przez sieć i poinformuje Cię, czego potrzebuje w wybranej przez Ciebie długości kontekstu, jaka będzie jego przybliżona szybkość i czy w ogóle uruchomi się na Twoim telefonie.

RZECZYWISTE LICZBY, PRZED TOBĄ

Liczba tokenów na sekundę, czas do pierwszego tokena i stopień zapełnienia okna kontekstowego, wyświetlane podczas czatu, a nie ukryte.

DO DOSTOSOWANIA

Temperatura, top-p, top-k, kara za powtórzenie, długość kontekstu, monit systemowy i informacje przekazywane modelowi dotyczące narzędzi – wszystko zapisane dla każdego modelu. Model może myśleć, zanim odpowie, co również jest przełącznikiem, a na telefonie z działającym procesorem graficznym można określić, który procesor obsługuje warstwy.

WIĘCEJ NIŻ TEKST

Obrazy i dźwięk dla modeli z projektorem, dokumenty, które może odczytać każdy model, dyktowanie za pomocą wbudowanego w telefon rozpoznawacza tekstu oraz odczyt na głos.

ASYSTENTA, KTÓRY MOŻE DZIAŁAĆ

Model może przeszukiwać internet, czytać strony i pracować z folderem, który chcesz udostępnić. Ty decydujesz, ile ma swobody: zatwierdzaj każdy krok, pozwól mu działać lub poproś go, aby najpierw zaplanował i powiedział, co zrobi, zanim cokolwiek się wydarzy. Może zadać Ci doprecyzowujące pytanie i postępować zgodnie z listą kontrolną, którą możesz samodzielnie zaznaczyć. Każde narzędzie można wyłączyć.

PRYWATNE Z POWODU KONSTRUKCJI

Twoje rozmowy, modele i sposób korzystania pozostają na urządzeniu. Nie ma zestawu SDK do analizy, narzędzia do raportowania awarii ani naszego zaplecza. Automatyczne tworzenie kopii zapasowych i przenoszenie danych z urządzenia są wyłączone, więc nowy telefon nie odziedziczy Twoich czatów. Odinstalowanie usuwa wszystko.

Dwa narzędzia łączą się z internetem, ponieważ muszą: wyszukiwanie w sieci i pobieranie stron. Oba są wymienione pod nagłówkiem informującym o ich pozostawieniu na urządzeniu, oba można wyłączyć, a każde wykonane połączenie jest umieszczane w wierszu odpowiedzi, który zawiera jego nazwę i otrzymane dane. Twój token Hugging Face, jeśli go ustawisz, jest szyfrowany kluczem przechowywanym w magazynie kluczy Androida i wysyłany tylko do Hugging Face.

CZEGO POTRZEBUJESZ

Android 12 lub nowszy, 64-bitowe urządzenie ARM i wystarczająca ilość pamięci dla wybranego modelu. Aplikacja poinformuje Cię o tym przed pobraniem.

Modele pochodzą od stron trzecich. Ty wybierasz, który z nich uruchomić, a to, co wyświetla, jest dziełem wydawcy, a nie naszym. Oprogramowanie open source dostępne na github.com/alpharomercoma/openweights.

Co nowego

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model