RAMDeck: Distributed AI

TradeMAV LLC

Thông tin về ứng dụng này

RAMDeck là ứng dụng đồng hành chính thức cho điều phối viên RAMDeck cục bộ của bạn. Nó biến thiết bị Android của bạn thành một nút làm việc tích cực, cho phép bạn đóng góp liền mạch bộ nhớ RAM nhàn rỗi của điện thoại để cung cấp năng lượng cho các mô hình AI lớn, riêng tư—ngay trên mạng cục bộ của bạn.

Bằng cách gộp bộ nhớ của các thiết bị hàng ngày của bạn (điện thoại, máy tính xách tay cũ và máy tính bảng đơn), công cụ suy luận phân tán của RAMDeck cho phép bạn chạy các Mô hình Ngôn ngữ Lớn (LLM) hiện đại mà thông thường sẽ yêu cầu hàng nghìn đô la cho các card đồ họa cao cấp.

Các tính năng chính: • Đóng góp dễ dàng: Chỉ cần kết nối với điều phối viên RAMDeck cục bộ của bạn và nhấn "Bắt đầu đóng góp". Ứng dụng sẽ tự động xử lý mạng RPC phức tạp.

• Quản lý tài nguyên thông minh: Các quy tắc tích hợp đảm bảo thiết bị của bạn luôn hoạt động tốt. Ứng dụng tự động tạm dừng đóng góp khi áp lực bộ nhớ cao, pin yếu hoặc khi bị ngắt kết nối khỏi Wi-Fi.

• Thông tin chi tiết trực tiếp: Xem chính xác lượng RAM bạn đang cung cấp cho cụm máy chủ trong thời gian thực, tình trạng kết nối và lịch sử đóng góp hàng ngày của bạn. • Hoàn toàn riêng tư & cục bộ: RAMDeck hoạt động hoàn toàn trên mạng cục bộ (LAN) của bạn. Không có dữ liệu nào được gửi lên đám mây và không cần API của bên thứ ba. Dữ liệu và mô hình của bạn hoàn toàn nằm trong mạng nội bộ.

• Cân bằng lại liền mạch: Khi bạn kết nối và ngắt kết nối khỏi mạng, bộ điều phối RAMDeck sẽ ngay lập tức cân bằng lại các lớp mô hình AI trên các nút hoạt động còn lại mà không làm gián đoạn phiên.

Yêu cầu: • Một bộ điều phối RAMDeck đang chạy (ví dụ: Orange Pi, Raspberry Pi hoặc máy chủ cục bộ) trên mạng cục bộ của bạn.

• Kết nối Wi-Fi với mạng LAN cục bộ của bạn.

Lưu ý: Ứng dụng này không tự chạy các mô hình AI. Nó hoạt động như một nút bộ nhớ và tính toán kết nối với cụm RAMDeck hiện có của bạn. Để bắt đầu, bạn phải triển khai phần mềm bộ điều phối RAMDeck trên thiết bị máy chủ chính của mình.