LLM Server — On-Device AI API

magnus2026

Meer oor hierdie app

★ Verander jou foon in 'n KI-bediener ★

LLM-bediener laat jou toe om groot taalmodelle direk op jou Android-toestel te laat loop — en hulle as 'n plaaslike API-eindpunt bloot te stel waarmee enige toepassing, skrip of KI-agent kan koppel.

Geen wolk nie. Geen intekeninge nie. Jou foon word die KI-agtergrond.

━━━━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 INFERSIE OP DIE TOESTEL
• Voer oopgewig LLM's uit (Llama, Gemma, Phi, Qwen, Mistral en meer)
• Geoptimaliseer vir mobiele hardeware met GGUF-kwantisering
• Volledige privaatheid — jou data verlaat nooit jou toestel nie
• Werk heeltemal vanlyn sodra modelle afgelaai is

🔌 INGEBOUDE API-BEDIENER
• OpenAI-versoenbare REST API bedien vanaf jou foon
• Koppel enige hulpmiddel wat die OpenAI API-formaat praat
• Stroom antwoorde intyds via Server-Sent Events
• Bedien verskeie kliënte op jou plaaslike netwerk

🤖 PERFEK VIR KI-AGENTE
• Laat jou KI-assistente jou bel foon as 'n LLM-agtergrond
• Hermes Agent, LangChain, AutoGPT — enigiets met HTTP
• Tailscale/ZeroTier-ondersteuning vir veilige afstandtoegang
• Geen API-sleutels nodig nie — jy besit die model

📱 HOE DIT WERK
1. Laai 'n model af vanaf die ingeboude modelblaaier
2. Tik "Begin Bediener" om die API-eindpunt te begin
3. Wys enige kliënt na http://your-phone-ip:8080/v1/chat/completions
4. Dis dit — jou foon is nou 'n KI-bediener

🔧 TEGNIESE BESONDERHEDE
• llama.cpp-agtergrond vir vinnige SVE/GPU-inferensie
• Ondersteun GGUF-modelle (Q4_K_M, Q5_K_M, Q8_0 en meer)
• OpenAI-versoenbare /v1/chat/completions-eindpunt
• Konfigureerbare kontekslengte, temperatuur en monsterneming
• Agtergronddiens bly bedien selfs wanneer die toepassing geminimaliseer word
• Battery-geoptimaliseerde inferensie skedulering

━━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 GEBRUIKSGEVALLE
• Persoonlike KI-assistent wat 100% op jou toestel loop
• Ontwikkeling en toetsing — prototipe KI-kenmerke sonder wolkkoste
• KI-agent-agterkant — laat outonome agente jou foon as hul brein gebruik
• Privaatheid-eerste KI — sensitiewe data raak nooit die wolk nie
• Vanlyn KI — werk op vliegtuie, in tonnels, enige plek

🔒 PRIVASITEIT EN SEKURITEIT
• Alle afleidings vind op die toestel plaas
• Geen data-insameling, geen telemetrie, geen wolkafhanklikheid nie
• API-bediener slegs toeganklik op jou plaaslike netwerk by verstek
• Oopbronmodel-ekosisteem — geen verskaffer nie insluit

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

LLM-bediener oorbrug die gaping tussen kragtige oopbron-KI-modelle en die toestelle wat jy elke dag dra. Hou op om vir wolk-API-oproepe te betaal — bestuur jou eie KI, op jou eie voorwaardes.

Laai nou af en verander jou foon in 'n KI-kragbron.

Wat's nuut

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.