OpenWeights: Edge Inference

Alpha Romer Coma

Описание

OpenWeights запускает языковые модели с открытыми весами прямо на вашем телефоне. Не нужно создавать учетную запись, не нужно взаимодействовать с сервером, и никакая информация о вас не измеряется.

Найдите Hugging Face внутри приложения, узнайте, будет ли модель работать на вашем устройстве, прежде чем загружать её, и пообщайтесь с ней. Каждый токен генерируется вашим собственным оборудованием.

ЛЮБАЯ МОДЕЛЬ, А НЕ КАТАЛОГ

Другие приложения на устройстве предоставляют вам короткий список, выбранный кем-то другим. OpenWeights предоставляет вам Hub. Если кто-то опубликовал GGUF час назад, вы можете его запустить.

ЧЕСТНАЯ ИНФОРМАЦИЯ О ВАШЕМ УСТРОЙСТВЕ

Прежде чем вы потратите гигабайты, приложение считывает заголовок модели по сети и сообщает вам, что ей нужно при выбранной вами длине контекста, приблизительно, насколько быстро она будет работать и будет ли она вообще работать на вашем телефоне.

РЕАЛЬНЫЕ ЦИФРЫ ПЕРЕД ВАМИ

Количество токенов в секунду, время до первого токена и степень заполнения контекстного окна отображаются во время чата, а не скрываются.

НАСТРОЙКИ ПО ВАШИМ УСЛОВИЯМ

Температура, top-p, top-k, штраф за повтор, длина контекста, системная подсказка и информация об инструментах, предоставляемая модели, — все это сохраняется для каждой модели. Возможность обдумывания перед ответом также является переключателем, а на телефоне с работающим графическим процессором вы можете указать, какой процессор обрабатывает слои.

БОЛЬШЕ, ЧЕМ ТЕКСТ

Изображения и аудио для моделей, которые поставляются с проектором, документы, которые может прочитать любая модель, диктовка с помощью встроенного в телефон распознавателя и чтение вслух.

ПОМОЩНИК, КОТОРЫЙ МОЖЕТ ДЕЙСТВОВАТЬ

Модель может искать информацию в интернете, читать страницу и работать с папкой, которую вы решите предоставить в общий доступ. Вы сами решаете, насколько гибким будет процесс: одобряйте каждый шаг, позвольте ему работать самостоятельно или попросите его сначала спланировать свои действия и указать, что он будет делать до начала работы. Он может задать вам уточняющий вопрос и следовать контрольному списку, который вы можете отметить самостоятельно. Все инструменты можно отключить.

КОНФИДЕНЦИАЛЬНОСТЬ ПО СОЗДАНИЮ

Ваши разговоры, ваши модели и ваше использование остаются на устройстве. Нет SDK для аналитики, нет системы отчетов о сбоях и нет нашей внутренней архитектуры. Автоматическое резервное копирование и передача данных с устройства отключены, поэтому новый телефон не унаследует ваши чаты. Удаление программы удаляет все данные.

Два инструмента все же получают доступ к интернету, потому что это необходимо: веб-поиск и загрузка страниц. Оба указаны в разделе, где говорится, что они покидают устройство, оба могут быть отключены, и каждый сделанный ими звонок становится строкой в ​​ответе, где указывается его имя и полученная информация. Ваш токен Hugging Face, если вы его установили, зашифрован ключом, хранящимся в хранилище ключей Android, и отправляется только в Hugging Face.

ЧТО ВАМ ПОНАДОБИТСЯ

Android 12 или новее, 64-битное ARM-устройство и достаточно памяти для выбранной вами модели. Приложение сообщит вам об этом перед загрузкой.

Модели предоставлены сторонними разработчиками. Вы выбираете, какую из них использовать, и то, что она показывает, является работой её издателя, а не нашей. Открытый исходный код, github.com/alpharomercoma/openweights.

Новое в приложении

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model