LLM Server — On-Device AI API

magnus2026

यो एपका बारेमा

★ तपाईंको फोनलाई AI सर्भरमा परिणत गर्नुहोस् ★

LLM सर्भरले तपाईंलाई आफ्नो एन्ड्रोइड उपकरणमा सिधै ठूला भाषा मोडेलहरू चलाउन दिन्छ — र तिनीहरूलाई स्थानीय API अन्त्य बिन्दुको रूपमा प्रदर्शन गर्दछ जहाँ कुनै पनि एप, स्क्रिप्ट, वा AI एजेन्ट जडान हुन सक्छ।

कुनै क्लाउड छैन। कुनै सदस्यता छैन। तपाईंको फोन AI ब्याकएन्ड बन्छ।

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 उपकरणमा जानकारी
• खुला-तौल LLM हरू चलाउनुहोस् (लामा, जेम्मा, फाई, क्वेन, मिस्ट्रल र थप)
• GGUF क्वान्टाइजेसनको साथ मोबाइल हार्डवेयरको लागि अनुकूलित
• पूर्ण गोपनीयता - तपाईंको डेटा तपाईंको उपकरणबाट कहिल्यै बाहिर निस्कँदैन
• मोडेलहरू डाउनलोड भएपछि पूर्ण रूपमा अफलाइन काम गर्दछ

🔌 निर्मित API सर्भर
• तपाईंको फोनबाट सेवा गरिएको OpenAI-संगत REST API
• OpenAI API ढाँचा बोल्ने कुनै पनि उपकरण जडान गर्नुहोस्
• सर्भर-पठाइएको घटनाहरू मार्फत वास्तविक-समयमा प्रतिक्रियाहरू स्ट्रिम गर्नुहोस्
• तपाईंको स्थानीय नेटवर्कमा धेरै ग्राहकहरूलाई सेवा दिनुहोस्

🤖 AI एजेन्टहरूको लागि उत्तम
• दिनुहोस् तपाईंको AI सहायकहरूले तपाईंको फोनलाई LLM ब्याकएन्डको रूपमा कल गर्छन्
• Hermes Agent, LangChain, AutoGPT — HTTP भएको कुनै पनि कुरा
• सुरक्षित रिमोट पहुँचको लागि Tailscale/ZeroTier समर्थन
• कुनै API कुञ्जीहरू आवश्यक पर्दैन — तपाईं मोडेलको मालिक हुनुहुन्छ

📱 यो कसरी काम गर्छ
१. बिल्ट-इन मोडेल ब्राउजरबाट मोडेल डाउनलोड गर्नुहोस्
२. API अन्त्य बिन्दु सुरु गर्न "स्टार्ट सर्भर" मा ट्याप गर्नुहोस्
३. कुनै पनि क्लाइन्टलाई http://your-phone-ip:8080/v1/chat/completions मा पोइन्ट गर्नुहोस्
४. यति नै हो — तपाईंको फोन अब AI सर्भर हो

🔧 प्राविधिक विवरणहरू
• द्रुत CPU/GPU अनुमानको लागि llama.cpp ब्याकएन्ड
• GGUF मोडेलहरूलाई समर्थन गर्दछ (Q4_K_M, Q5_K_M, Q8_0 र थप)
• OpenAI-compatible /v1/chat/completions अन्त्य बिन्दु
• कन्फिगर योग्य सन्दर्भ लम्बाइ, तापक्रम, र नमूना
• एप न्यूनतम हुँदा पनि पृष्ठभूमि सेवा सेवा गरिरहन्छ
• ब्याट्री-अनुकूलित अनुमान तालिका

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 प्रयोगका केसहरू
• व्यक्तिगत एआई सहायक जुन तपाईंको उपकरणमा १००% चल्छ
• विकास र परीक्षण - क्लाउड लागत बिना प्रोटोटाइप एआई सुविधाहरू
• एआई एजेन्ट ब्याकएन्ड - स्वायत्त एजेन्टहरूलाई तपाईंको फोनलाई आफ्नो दिमागको रूपमा प्रयोग गर्न दिनुहोस्
• गोपनीयता-पहिलो एआई - संवेदनशील डेटाले क्लाउडलाई कहिल्यै छुँदैन
• अफलाइन एआई - विमानहरूमा, सुरुङहरूमा, जहाँ पनि काम गर्दछ

🔒 गोपनीयता र सुरक्षा
• सबै अनुमान उपकरणमा हुन्छ
• कुनै डेटा सङ्कलन छैन, कुनै टेलिमेट्री छैन, कुनै क्लाउड निर्भरता छैन
• पूर्वनिर्धारित रूपमा तपाईंको स्थानीय नेटवर्कमा मात्र पहुँचयोग्य API सर्भर
• खुला स्रोत मोडेल इकोसिस्टम - कुनै विक्रेता छैन लक-इन

━━━━━━━━━━━━━━━━━━━━━━━━━━

LLM सर्भरले शक्तिशाली खुला स्रोत AI मोडेलहरू र तपाईंले हरेक दिन बोक्ने उपकरणहरू बीचको खाडललाई कम गर्छ। क्लाउड API कलहरूको लागि भुक्तानी गर्न बन्द गर्नुहोस् — आफ्नै AI चलाउनुहोस्, आफ्नै सर्तहरूमा।

अहिले नै डाउनलोड गर्नुहोस् र आफ्नो फोनलाई AI पावरहाउसमा परिणत गर्नुहोस्।

नयाँ के छ

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.