OpenWeights: Edge Inference

Alpha Romer Coma

Про цей додаток

OpenWeights запускає моделі мови програмування з відкритою вагою безпосередньо на вашому телефоні. Немає облікового запису, з яким потрібно створювати обліковий запис, немає сервера для спілкування, і нічого не вимірюється щодо вас.

Пошукайте Hugging Face всередині програми, дізнайтеся, чи дійсно модель працюватиме на вашому пристрої, перш ніж завантажувати її, і спілкуйтеся з нею в чаті. Кожен токен створюється вашим власним обладнанням.

БУДЬ-ЯКА МОДЕЛЬ, А НЕ КАТАЛОГ

Інші програми на пристрої надають вам короткий список, який вибрав хтось інший. OpenWeights надає вам Hub. Якщо хтось опублікував GGUF годину тому, ви можете його запустити.

ЧЕСНО ПРО СВІЙ ПРИСТРІЙ

Перш ніж ви витратите гігабайти, програма зчитує заголовок моделі через мережу та повідомляє вам, що їй потрібно для вибраної вами довжини контексту, приблизно наскільки швидко це буде та чи взагалі працюватиме вона на вашому телефоні.

РЕАЛЬНІ ЦИФРИ, ПЕРЕД ВАМИ

Токени за секунду, час до першого токена та наскільки заповнене вікно контексту, відображаються під час чату, а не приховані.

НАЛАШТУВАННЯ

Температура, top-p, top-k, штраф за повторення, тривалість контексту, системний запит та те, що моделі повідомляють про її інструменти, все зберігається для кожної моделі. Те, що модель може думати, перш ніж відповісти, також є перемикачем, а на телефоні з робочим графічним процесором ви можете вказати, який процесор містить шари.

БІЛЬШЕ, НІЖ ТЕКСТ

Зображення та аудіо для моделей, які постачаються з проектором, документи, які може читати будь-яка модель, диктування через власний розпізнавач вашого телефону та читання вголос.

ПОМІЧНИК, ЯКИЙ МОЖЕ ДІЯТИ

Модель може шукати в Інтернеті, читати сторінку та працювати з папкою, якою ви вирішите поділитися. Ви вирішуєте, скільки повноважень вона отримає: схвалюйте кожен крок, дозволяйте їй працювати або попросіть її спочатку спланувати та сказати, що вона зробить, перш ніж щось станеться. Вона може поставити вам уточнююче запитання та слідувати контрольному списку, який ви можете самі поставити. Кожен інструмент можна вимкнути.

ПРИВАТНЕ ЗА МЕТОЮ КОНСТРУКЦІЇ

Ваші розмови, ваші моделі та ваше використання залишаються на пристрої. Немає аналітичного SDK, немає звіту про збої та немає нашого бекенду. Автоматичне резервне копіювання та перенесення пристроїв вимкнено, тому новий телефон не успадковує ваші чати. ​​Видалення видаляє все.

Два інструменти досягають Інтернету, бо вони повинні: веб-пошук та вибірка сторінок. Обидва перелічені під заголовком, який говорить, що вони залишають пристрій, обидва можна вимкнути, і кожен здійснений дзвінок є рядком у відповіді, який називає його та що йому було надано. Ваш токен Hugging Face, якщо ви його встановили, шифрується ключем, що зберігається в сховищі ключів Android, і надсилається лише Hugging Face.

ЩО ВАМ ПОТРІБНО

Android 12 або новіша версія, 64-бітний пристрій ARM та достатньо пам'яті для обраної вами моделі. Додаток повідомить вас перед завантаженням.

Моделі надходять від сторонніх розробників. Ви обираєте, яку з них запускати, і те, що в ньому зазначено, є роботою її видавця, а не нашою. Відкритий код, за адресою github.com/alpharomercoma/openweights.

Що нового

Compiled models fixed, and a search that listens

- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once