OpenWeights: Edge Inference

Alpha Romer Coma

關於這個應用程式

OpenWeights 直接在您的手機上執行開放權重語言模型。無需建立帳戶，無需連接伺服器，也不會收集任何關於您的資訊。

在應用程式內搜尋 Hugging Face，下載前即可了解模型是否能在您的裝置上運行，並與之互動。每個詞元都由您自己的硬體產生。

任何模型，而非目錄

其他設備端應用會提供一份由他人挑選的簡短清單。 OpenWeights 則為您提供 Hub。即使有人在一個小時前發布了一個 GGUF，您也可以運行它。

對您的裝置誠實可靠

在您花費數 GB 流量之前，應用程式會透過網路讀取模型的頭部訊息，並告知您根據您選擇的上下文長度所需的數據量、大致運行速度以及是否能在您的手機上運行。

真實數據，清晰呈現

每秒詞元數、首次詞元產生時間以及上下文視窗的填充程度，這些資訊會在您聊天時顯示，而不是隱藏起來。

隨心調整

溫度、top-p、top-k、重複懲罰、上下文長度、系統提示以及模型工具訊息，所有設定均按模型保存。模型是否需要思考才能回答也是一個可切換的選項，在配備可用 GPU 的手機上，您可以指定哪個處理器負責處理圖層。

不止於文本

對於配備投影機的模型，支援影像和音訊；任何模型都能讀取文件；透過手機自帶的裝置辨識器進行語音輸入；以及朗讀功能。

可執行的助手

模型可以搜尋網頁、閱讀頁面，並處理您選擇共享的資料夾。您可以決定模型的權限：批准每一步操作、讓它自行運行，或要求它先進行規劃，並在執行任何操作之前說明其操作步驟。它可以向您提出澄清問題，並遵循您可以自行勾選的清單。所有工具均可關閉。

隱私保護機制

您的對話、模型和使用情況均保留在裝置上。我們不提供分析 SDK、崩潰報告功能，也不使用任何後端服務。自動備份和裝置傳輸功能已關閉，因此新手機不會繼承您的聊天記錄。卸載應用程式會刪除所有資料。

有兩個工具需要上網：網頁搜尋和頁面抓取。這兩個工具都列在「離開裝置」的標題下，您可以將其關閉。每次呼叫都會在回復中顯示呼叫名稱和請求內容。如果您設定了 Hugging Face 令牌，它會使用儲存在 Android 金鑰庫中的金鑰進行加密，並且僅傳送至 Hugging Face。

所需設備

Android 12 或更高版本，64 位元 ARM 設備，以及足夠的記憶體來運行您選擇的模型。應用程式會在您下載前告知您所需記憶體。

模型來自第三方。您可以選擇要執行哪個模型，模型上顯示的內容是其發布者的作品，而不是我們的作品。開源，網址為 github.com/alpharomercoma/openweights。

新功能

Compiled models for everyone, a search that listens, and a shortcut from "Ready to use"

- Every install now runs both engines, so ExecuTorch models download on any phone
- Typing in Discover searches all of Hugging Face, not just the recommended shelf
- Recommended compiled models now follow our five-phone benchmarks: Qwen3 1.7B, LFM2.5 1.2B and Llama 3.2 3B
- Tapping the download-finished notification opens a fresh chat on that model