RAMDeck: Distributed AI

TradeMAV LLC

Про цей додаток

RAMDeck – це офіційний додаток-супутник для вашого локального координатора RAMDeck. Він перетворює ваш пристрій Android на активний робочий вузол, дозволяючи вам безперешкодно використовувати неактивну оперативну пам'ять вашого телефону для живлення масивних приватних моделей штучного інтелекту – прямо у вашій локальній мережі.

Об'єднуючи пам'ять ваших повсякденних пристроїв (телефонів, старих ноутбуків та одноплатних комп'ютерів), розподілений механізм виводу RAMDeck дозволяє запускати найсучасніші моделі великих мов (LLM), які зазвичай вимагають тисяч доларів у високоякісних відеокартах.

Основні характеристики:

• Легкий внесок: Просто підключіться до свого локального координатора RAMDeck і натисніть «Почати внесок». Додаток автоматично обробляє складну мережу RPC.

• Інтелектуальне управління ресурсами: Вбудовані правила гарантують, що ваш пристрій залишається справним. Додаток автоматично призупиняє внесок під час високого навантаження на пам'ять, низького заряду батареї або відключення від Wi-Fi.

• Статистика в реальному часі: Дивіться, скільки оперативної пам'яті ви надаєте кластеру в режимі реального часу, стан вашого з'єднання та історію ваших щоденних внесків.
• 100% приватно та локально: RAMDeck працює повністю у вашій локальній мережі (LAN). Дані не надсилаються до хмари, і сторонні API не потрібні. Ваші дані та моделі залишаються повністю локальними.

• Безперешкодне перебалансування: Під час підключення та відключення від мережі координатор RAMDeck миттєво перебалансовує шари моделі ШІ між рештою активних вузлів, не розриваючи сеанс.

Вимоги:
• Запущений координатор RAMDeck (наприклад, Orange Pi, Raspberry Pi або локальний сервер) у вашій локальній мережі.
• Підключення Wi-Fi до вашої локальної мережі.

Примітка: Цей додаток не запускає моделі ШІ самостійно. Він діє як вузол пам'яті та обчислень, який підключається до вашого існуючого кластера RAMDeck. Щоб розпочати роботу, необхідно розгорнути програмне забезпечення координатора RAMDeck на вашому основному хост-пристрої.