LLM Server — On-Device AI API

magnus2026

Informace o aplikaci

★ Proměňte svůj telefon v server umělé inteligence ★

LLM Server vám umožňuje spouštět rozsáhlé jazykové modely přímo na vašem zařízení Android – a zpřístupnit je jako lokální koncový bod API, ke kterému se může připojit jakákoli aplikace, skript nebo agent umělé inteligence.

Žádný cloud. Žádné předplatné. Váš telefon se stává backendem umělé inteligence.

━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 INFERENCE NA ZAŘÍZENÍ
• Spouštějte LLM s otevřenou váhou (Llama, Gemma, Phi, Qwen, Mistral a další)
• Optimalizováno pro mobilní hardware s kvantizací GGUF
• Plné soukromí – vaše data nikdy neopustí vaše zařízení
• Funguje zcela offline po stažení modelů

🔌 VESTAVĚNÝ API SERVER
• REST API kompatibilní s OpenAI poskytované z vašeho telefonu
• Připojte jakýkoli nástroj, který komunikuje ve formátu OpenAI API
• Streamujte odpovědi v reálném čase prostřednictvím událostí odeslaných serverem
• Obsluhujte více klientů ve vaší lokální síti

🤖 IDEÁLNÍ PRO AGENTY AI
• Nechte své asistenty AI volat váš telefon jako backend LLM
• Hermes Agent, LangChain, AutoGPT — cokoli s HTTP
• Podpora Tailscale/ZeroTier pro bezpečný vzdálený přístup
• Nejsou potřeba žádné klíče API — model vlastníte

📱 JAK TO FUNGUJE
1. Stáhněte si model z vestavěného prohlížeče modelů
2. Klepnutím na „Spustit server“ spusťte koncový bod API
3. Nasměrujte libovolného klienta na http://your-phone-ip:8080/v1/chat/completions
4. To je vše — váš telefon je nyní serverem AI

🔧 TECHNICKÉ PODROBNOSTI
• llama.cpp backend pro rychlou inferenci CPU/GPU
• Podporuje modely GGUF (Q4_K_M, Q5_K_M, Q8_0 a další)
• Koncový bod /v1/chat/completions kompatibilní s OpenAI
• Konfigurovatelná délka kontextu, teplota a vzorkování
• Služba na pozadí pokračuje v poskytování i při minimalizaci aplikace
• Inference optimalizovaná pro baterii plánování

━━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 PŘÍPADY POUŽITÍ
• Osobní asistent s umělou inteligencí, který běží 100 % na vašem zařízení
• Vývoj a testování – prototypy funkcí umělé inteligence bez nákladů na cloud
• Backend agenta umělé inteligence – nechte autonomní agenty používat váš telefon jako svůj mozek
• Umělá inteligence dbající na soukromí – citlivá data se nikdy nedostanou do cloudu
• Offline umělá inteligence – funguje v letadlech, tunelech, kdekoli

🔒 SOUKROMÍ A BEZPEČÍ
• Veškeré odvozování probíhá na zařízení
• Žádný sběr dat, žádná telemetrie, žádná závislost na cloudu
• Server API je ve výchozím nastavení přístupný pouze ve vaší místní síti
• Ekosystém modelu s otevřeným zdrojovým kódem – žádný dodavatel zablokování

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

LLM Server překlenuje propast mezi výkonnými modely umělé inteligence s otevřeným zdrojovým kódem a zařízeními, která nosíte každý den. Přestaňte platit za volání cloudového API – provozujte svou vlastní umělou inteligenci podle svých vlastních podmínek.

Stáhněte si ji nyní a proměňte svůj telefon v elektrárnu umělé inteligence.

Novinky

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.