RAMDeck: Distributed AI

TradeMAV LLC

앱 정보

RAMDeck은 로컬 RAMDeck 코디네이터의 공식 컴패니언 앱입니다. Android 기기를 활성 워커 노드로 전환하여, 휴대폰의 유휴 RAM을 활용하여 로컬 네트워크에서 바로 대규모의 프라이빗 AI 모델을 구동할 수 있도록 지원합니다.

RAMDeck의 분산 추론 엔진은 일상적으로 사용하는 기기(휴대폰, 구형 노트북, 싱글보드 컴퓨터 등)의 메모리를 공유하여, 일반적으로 수천 달러 상당의 고성능 그래픽 카드가 필요한 최첨단 대규모 언어 모델(LLM)을 실행할 수 있도록 합니다.

주요 기능:
• 간편한 기여: 로컬 RAMDeck 코디네이터에 연결하고 "기여 시작"을 탭하기만 하면 됩니다. 앱이 복잡한 RPC 네트워킹을 자동으로 처리합니다.

• 스마트 리소스 관리: 내장된 규칙을 통해 기기의 상태를 최상으로 유지합니다. 메모리 사용량이 많거나 배터리가 부족하거나 Wi-Fi 연결이 끊어지면 앱이 자동으로 기여를 일시 중지합니다.

• 실시간 인사이트: 클러스터에 제공하는 RAM 용량, 연결 상태, 일일 기여 내역을 실시간으로 정확하게 확인할 수 있습니다.

• 100% 프라이빗 및 로컬: RAMDeck은 로컬 영역 네트워크(LAN)에서 완전히 작동합니다. 클라우드로 데이터가 전송되지 않으며, 타사 API도 필요하지 않습니다. 데이터와 모델은 온프레미스에 완벽하게 저장됩니다.

• 원활한 리밸런싱: 네트워크에 연결하거나 연결을 끊을 때, RAMDeck 코디네이터는 세션을 끊지 않고 나머지 활성 노드에 AI 모델 레이어를 즉시 리밸런싱합니다.

요구 사항:
• 로컬 네트워크에서 실행 중인 RAMDeck 코디네이터(예: Orange Pi, Raspberry Pi 또는 로컬 서버)

• 로컬 LAN에 대한 Wi-Fi 연결

참고: 이 앱은 자체적으로 AI 모델을 실행하지 않습니다. 기존 RAMDeck 클러스터에 연결되는 메모리 및 컴퓨팅 노드 역할을 합니다. 시작하려면 기본 호스트 장치에 RAMDeck 코디네이터 소프트웨어를 배포해야 합니다.