RAMDeckは、ローカルのRAMDeckコーディネーターの公式コンパニオンアプリです。Androidデバイスをアクティブなワーカーノードに変え、スマートフォンのアイドル状態のRAMをシームレスに提供することで、大規模なプライベートAIモデルをローカルネットワーク上で実行できます。
RAMDeckの分散推論エンジンは、日常的に使用するデバイス(スマートフォン、古いノートパソコン、シングルボードコンピュータなど)のメモリをプールすることで、通常であれば数千ドルもするハイエンドグラフィックカードを必要とする最先端の大規模言語モデル(LLM)を実行できます。
主な機能:
• 簡単な貢献:ローカルのRAMDeckコーディネーターに接続し、「貢献を開始」をタップするだけです。アプリが複雑なRPCネットワーク処理を自動的に行います。
• スマートなリソース管理:組み込みのルールにより、デバイスの健全性を維持します。メモリ負荷が高い場合、バッテリー残量が少ない場合、またはWi-Fi接続が切断された場合は、アプリが自動的に貢献を一時停止します。
• リアルタイムインサイト:クラスターに提供しているRAM容量、接続状態、日々の貢献履歴をリアルタイムで正確に確認できます。
• 100%プライベート&ローカル:RAMDeckはローカルエリアネットワーク(LAN)上で完全に動作します。クラウドへのデータ送信やサードパーティAPIの利用は一切不要です。データとモデルは完全にオンプレミスに保持されます。
• シームレスなリバランス:ネットワークへの接続・切断時に、RAMDeckコーディネーターはセッションを切断することなく、残りのアクティブノード間でAIモデルレイヤーを瞬時にリバランスします。
必要条件:• ローカルネットワーク上で稼働中のRAMDeckコーディネーター(例:Orange Pi、Raspberry Pi、またはローカルサーバー)。
• ローカルLANへのWi-Fi接続。
注:このアプリは単独ではAIモデルを実行しません。既存のRAMDeckクラスターに接続するメモリおよび計算ノードとして機能します。使用を開始するには、プライマリホストデバイスにRAMDeckコーディネーターソフトウェアをデプロイする必要があります。
RAMDeckを使えば、スマートフォンの未使用メモリをプライベートなローカルAIの駆動に活用できます。