LLM Server — On-Device AI API

magnus2026

Пра гэту праграму

★ Ператварыце свой тэлефон у сервер штучнага інтэлекту ★

Сервер LLM дазваляе запускаць вялікія моўныя мадэлі непасрэдна на прыладзе Android — і прадстаўляць іх як лакальную канчатковую кропку API, да якой можа падключыцца любая праграма, скрыпт або агент штучнага інтэлекту.

Ніякага воблака. Ніякіх падпісак. Ваш тэлефон становіцца бэкэндам штучнага інтэлекту.

━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 ВЫВОД НА ПРЫЛАДЗЕ
• Запускайце LLM з адкрытай вагой (Llama, Gemma, Phi, Qwen, Mistral і іншыя)
• Аптымізаваны для мабільнага абсталявання з квантаваннем GGUF
• Поўная прыватнасць — вашы даныя ніколі не пакідаюць вашу прыладу
• Працуе цалкам афлайн пасля загрузкі мадэляў

🔌 УБУДАВАНЫ СЕРВЕР API
• Сумяшчальны з OpenAI REST API, які абслугоўваецца з вашага тэлефона
• Падключыце любы інструмент, які падтрымлівае фармат OpenAI API
• Трансляцыя адказаў у рэжыме рэальнага часу праз падзеі, адпраўленыя серверам
• Абслугоўванне некалькіх кліентаў у вашай лакальнай сетцы

🤖 ІДЭАЛЬНА ПАДХОДЗІЦЬ ДЛЯ АГЕНТАЎ ШІ
• Дазвольце сваім памочнікам ШІ тэлефанаваць ваш тэлефон як бэкенд LLM
• Hermes Agent, LangChain, AutoGPT — усё, што мае HTTP
• Падтрымка Tailscale/ZeroTier для бяспечнага аддаленага доступу
• Ключы API не патрэбныя — мадэль належыць вам

📱 ЯК ГЭТА ПРАЦУЕ
1. Загрузіце мадэль з убудаванага браўзера мадэляў
2. Націсніце «Запусціць сервер», каб запусціць канчатковую кропку API
3. Накіруйце любога кліента на http://your-phone-ip:8080/v1/chat/completions
4. Вось і ўсё — ваш тэлефон цяпер сервер штучнага інтэлекту

🔧 ТЭХНІЧНЫЯ ПАДРАБЯЗНАСЦІ
• бэкенд llama.cpp для хуткага вываду працэсара/графічнага працэсара
• Падтрымлівае мадэлі GGUF (Q4_K_M, Q5_K_M, Q8_0 і іншыя)
• Канчатковая кропка /v1/chat/completions, сумяшчальная з OpenAI
• Наладжвальная даўжыня кантэксту, тэмпература і выбарка
• Фонавая служба працягвае працаваць, нават калі праграма згорнута
• Вывад, аптымізаваны для батарэі планаванне

━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 ВЫПАДКІ ВЫКАРЫСТАННЯ
• Персанальны памочнік штучнага інтэлекту, які працуе на 100% на вашай прыладзе
• Распрацоўка і тэставанне — прататыпы функцый штучнага інтэлекту без выдаткаў на воблака
• Бэкенд агента штучнага інтэлекту — дазвольце аўтаномным агентам выкарыстоўваць ваш тэлефон як свой мозг
• Штучны інтэлект, арыентаваны на прыватнасць — канфідэнцыйныя дадзеныя ніколі не трапляюць у воблака
• Аўтаномны штучны інтэлект — працуе ў самалётах, тунэлях, дзе заўгодна

🔒 КАНФІДЭНЦЫЯЛЬНАСЦЬ І БЯСПЕКА
• Усе высновы адбываюцца на прыладзе
• Няма збору дадзеных, няма тэлеметрыі, няма залежнасці ад воблака
• Сервер API даступны толькі ў вашай лакальнай сетцы па змаўчанні
• Экасістэма мадэлі з адкрытым зыходным кодам — няма пастаўшчыка блакіроўка

━━━━━━━━━━━━━━━━━━━━━━━━━━━━

LLM Server злучае магутныя мадэлі штучнага інтэлекту з адкрытым зыходным кодам і прылады, якія вы носіце кожны дзень. Перастаньце плаціць за выклікі воблачнага API — запускайце свой уласны штучны інтэлект на сваіх умовах.

Запампуйце зараз і ператварыце свой тэлефон у магутны рэсурс штучнага інтэлекту.

Што новага

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.