LLM Server — On-Device AI API

magnus2026

Perihal apl ini

★ Tukar Telefon Anda Menjadi Pelayan AI ★

Pelayan LLM membolehkan anda menjalankan model bahasa yang besar secara langsung pada peranti Android anda — dan mendedahkannya sebagai titik akhir API tempatan yang boleh disambungkan oleh mana-mana aplikasi, skrip atau ejen AI.

Tiada awan. Tiada langganan. Telefon anda menjadi bahagian belakang AI.

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 INFERENSI PADA PERANTI
• Jalankan LLM berat terbuka (Llama, Gemma, Phi, Qwen, Mistral dan banyak lagi)
• Dioptimumkan untuk perkakasan mudah alih dengan pengkuantuman GGUF
• Privasi penuh — data anda tidak pernah meninggalkan peranti anda
• Berfungsi sepenuhnya di luar talian sebaik sahaja model dimuat turun

🔌 PELAYAN API TERBINA DALAM
• API REST yang serasi dengan OpenAI dihidangkan daripada telefon anda
• Sambungkan sebarang alat yang bertutur dalam format API OpenAI
• Strim respons dalam masa nyata melalui Acara Dihantar Pelayan
• Layan berbilang klien pada rangkaian tempatan anda

🤖 SESUAI UNTUK EJEN AI
• Biarkan pembantu AI anda menghubungi anda telefon sebagai bahagian belakang LLM
• Hermes Agent, LangChain, AutoGPT — apa sahaja dengan HTTP
• Sokongan Tailscale/ZeroTier untuk akses jauh yang selamat
• Tiada kunci API diperlukan — anda memiliki model

📱 CARA IA BERFUNGSI
1. Muat turun model daripada pelayar model terbina dalam
2. Ketik "Mula Pelayan" untuk melancarkan titik akhir API
3. Halakan mana-mana klien ke http://your-phone-ip:8080/v1/chat/completions
4. Itu sahaja — telefon anda kini merupakan pelayan AI

🔧 BUTIRAN TEKNIKAL
• bahagian belakang llama.cpp untuk inferens CPU/GPU yang pantas
• Menyokong model GGUF (Q4_K_M, Q5_K_M, Q8_0 dan banyak lagi)
• Titik akhir /v1/chat/completions yang serasi dengan OpenAI
• Panjang konteks, suhu dan persampelan yang boleh dikonfigurasikan
• Perkhidmatan latar belakang terus berfungsi walaupun aplikasi diminimumkan
• Inferens yang dioptimumkan bateri penjadualan

━━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 KES PENGGUNAAN
• Pembantu AI peribadi yang berjalan 100% pada peranti anda
• Pembangunan & pengujian — ciri prototaip AI tanpa kos awan
• Bahagian belakang ejen AI — biarkan ejen autonomi menggunakan telefon anda sebagai otak mereka
• AI mengutamakan privasi — data sensitif tidak pernah menyentuh awan
• AI Luar Talian — berfungsi pada satah, dalam terowong, di mana sahaja

🔒 PRIVASI & KESELAMATAN
• Semua inferens berlaku pada peranti
• Tiada pengumpulan data, tiada telemetri, tiada pergantungan awan
• Pelayan API hanya boleh diakses pada rangkaian tempatan anda secara lalai
• Ekosistem model sumber terbuka — tiada vendor kunci masuk

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

Pelayan LLM merapatkan jurang antara model AI sumber terbuka yang berkuasa dan peranti yang anda bawa setiap hari. Berhenti membayar untuk panggilan API awan — jalankan AI anda sendiri, mengikut terma anda sendiri.

Muat turun sekarang dan tukarkan telefon anda menjadi kuasa AI.

Perkara baharu

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.