OpenWeights: Edge Inference

Alpha Romer Coma

このアプリについて

OpenWeightsは、オープンウェイト言語モデルをスマートフォン上で直接実行します。アカウント作成も、サーバーとの通信も、ユーザー情報の収集も一切不要です。

アプリ内からHugging Faceを検索し、ダウンロード前にモデルがデバイスで動作するかどうかを確認して、チャットを始めましょう。トークンはすべて、ユーザー自身のハードウェアによって生成されます。

カタログではなく、あらゆるモデルを利用可能

他のデバイスアプリは、誰かが選んだ短いリストしか表示しません。OpenWeightsは、ハブを提供します。誰かが1時間前にGGUFを公開したとしても、すぐに実行できます。

デバイスに関する情報を正直に表示

データ通信量を増やす前に、アプリはネットワーク経由でモデルのヘッダーを読み取り、選択したコンテキスト長で必要なデータ量、おおよその処理速度、そしてスマートフォンで実行可能かどうかを通知します。

リアルタイムの数値を常に表示

1秒あたりのトークン数、最初のトークン取得までの時間、コンテキストウィンドウの占有率などが、チャット中に表示されます。

自由に設定可能

温度、トップp、トップk、繰り返しペナルティ、コンテキスト長、システムプロンプト、そしてモデルが使用するツールに関する情報など、すべてモデルごとに保存されます。モデルが回答する前に考える機能もオン/オフ切り替えが可能で、GPU搭載のスマートフォンでは、レイヤーを処理するプロセッサを指定することもできます。

テキスト以上の機能

プロジェクターを搭載したモデルでは画像や音声も表示でき、あらゆるモデルがドキュメントを読み上げることができます。スマートフォンの音声認識機能による音声入力と読み上げも可能です。

行動できるアシスタント

モデルはウェブ検索、ページの読み上げ、共有フォルダの操作などを行うことができます。モデルにどれだけの権限を与えるかは、ユーザーが自由に設定できます。すべてのステップを承認したり、実行させたり、あるいは実行前に計画を立てて、どのような処理を行うかを指示したりすることも可能です。確認のための質問をしたり、チェックリストに従って作業を進めたりすることもできます。すべてのツールはオフにできます。


プライベートな設計

会話、モデル、使用状況はすべて端末内に保存されます。分析SDK、クラッシュレポーター、バックエンドは一切使用していません。自動バックアップと端末転送は無効になっているため、新しい端末にチャット履歴が引き継がれることはありません。アンインストールすると、すべてのデータが削除されます。

ウェブ検索とページ取得という2つのツールは、インターネットに接続する必要があります。どちらも端末から送信されることが明記されており、無効にすることができます。また、これらのツールが発信するたびに、応答メッセージにそのツール名と入力内容が記録されます。Hugging Faceトークンを設定した場合、Androidキーストアに保存されているキーで暗号化され、Hugging Faceのみに送信されます。

必要なもの

Android 12以降、64ビットARMデバイス、選択したモデルに必要なメモリ容量が必要です。アプリはダウンロード前に必要な情報を表示します。

モデルはサードパーティから提供されています。どのモデルを使用するかはユーザーが選択でき、表示される内容は当社のものではなく、各モデルの発行元によるものです。オープンソース。github.com/alpharomercoma/openweights で公開されています。

新機能

Compiled models fixed, and a search that listens

- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once