LLM Server — On-Device AI API

magnus2026

ఈ యాప్ గురించి పరిచయం

★ మీ ఫోన్‌ను ఒక AI సర్వర్‌గా మార్చండి ★

LLM సర్వర్, పెద్ద లాంగ్వేజ్ మోడల్స్‌ను నేరుగా మీ ఆండ్రాయిడ్ పరికరంలోనే రన్ చేయడానికి మిమ్మల్ని అనుమతిస్తుంది — మరియు వాటిని ఒక లోకల్ API ఎండ్‌పాయింట్‌గా అందుబాటులోకి తెస్తుంది, దీనికి ఏ యాప్, స్క్రిప్ట్ లేదా AI ఏజెంట్ అయినా కనెక్ట్ అవ్వగలదు.

క్లౌడ్ అవసరం లేదు. సబ్‌స్క్రిప్షన్‌లు లేవు. మీ ఫోనే AI బ్యాకెండ్‌గా మారుతుంది.

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

🧠 పరికరంలోనే ఇన్ఫరెన్స్
• ఓపెన్-వెయిట్ LLMలను (లామా, జెమ్మా, ఫై, క్వెన్, మిస్ట్రాల్ మరియు మరిన్ని) అమలు చేయండి
• GGUF క్వాంటైజేషన్‌తో మొబైల్ హార్డ్‌వేర్ కోసం ఆప్టిమైజ్ చేయబడింది
• పూర్తి గోప్యత — మీ డేటా మీ పరికరం నుండి ఎప్పటికీ బయటకు వెళ్లదు

• మోడల్స్ డౌన్‌లోడ్ అయిన తర్వాత పూర్తిగా ఆఫ్‌లైన్‌లో పనిచేస్తుంది

🔌 అంతర్నిర్మిత API సర్వర్
• మీ ఫోన్ నుండి అందించబడే OpenAI-అనుకూల REST API
• OpenAI API ఫార్మాట్‌ను ఉపయోగించే ఏదైనా టూల్‌ను కనెక్ట్ చేయండి
• సర్వర్-సెంట్ ఈవెంట్స్ ద్వారా ప్రతిస్పందనలను నిజ సమయంలో స్ట్రీమ్ చేయండి

• మీ స్థానిక నెట్‌వర్క్‌లో బహుళ క్లయింట్‌లకు సేవ అందించండి

🤖 AIకి సరైనది ఏజెంట్లు

• మీ AI సహాయకులు మీ ఫోన్‌ను LLM బ్యాకెండ్‌గా ఉపయోగించి కాల్ చేయనివ్వండి
• హెర్మెస్ ఏజెంట్, లాంగ్‌చెయిన్, ఆటోజిపిటి — HTTP ఉన్న ఏదైనా
• సురక్షితమైన రిమోట్ యాక్సెస్ కోసం టెయిల్‌స్కేల్/జీరోటియర్ మద్దతు

• API కీలు అవసరం లేదు — మోడల్ మీ సొంతం

📱 ఇది ఎలా పనిచేస్తుంది
1. అంతర్నిర్మిత మోడల్ బ్రౌజర్ నుండి ఒక మోడల్‌ను డౌన్‌లోడ్ చేయండి
2. API ఎండ్‌పాయింట్‌ను ప్రారంభించడానికి "స్టార్ట్ సర్వర్" నొక్కండి
3. ఏదైనా క్లయింట్‌ను http://your-phone-ip:8080/v1/chat/completions కు పాయింట్ చేయండి
4. అంతే — మీ ఫోన్ ఇప్పుడు ఒక AI సర్వర్

🔧 సాంకేతిక వివరాలు
• వేగవంతమైన CPU/GPU ఇన్ఫరెన్స్ కోసం llama.cpp బ్యాకెండ్
• GGUF మోడళ్లకు మద్దతు (Q4_K_M, Q5_K_M, Q8_0 మరియు మరిన్ని)
• OpenAI-అనుకూలమైన /v1/chat/completions ఎండ్‌పాయింట్
• కాన్ఫిగర్ చేయగల కాంటెక్స్ట్ పొడవు, ఉష్ణోగ్రత, మరియు నమూనా సేకరణ

• యాప్ మినిమైజ్ చేయబడినప్పుడు కూడా బ్యాక్‌గ్రౌండ్ సర్వీస్ పనిచేస్తూనే ఉంటుంది
• బ్యాటరీ-ఆప్టిమైజ్డ్ ఇన్ఫరెన్స్ షెడ్యూలింగ్

━━━━━━━━━━━━━━━━━━━━━━━━━━━━

💡 వినియోగ సందర్భాలు
• 100% మీ పరికరంలోనే పనిచేసే వ్యక్తిగత AI సహాయకుడు
• అభివృద్ధి & పరీక్ష — క్లౌడ్ ఖర్చులు లేకుండా AI ఫీచర్ల ప్రోటోటైప్‌లు
• AI ఏజెంట్ బ్యాకెండ్ — స్వయంప్రతిపత్తి గల ఏజెంట్లు మీ ఫోన్‌ను వాటి మెదడుగా ఉపయోగించుకోనివ్వండి
• గోప్యతకు ప్రాధాన్యతనిచ్చే AI — సున్నితమైన డేటా ఎప్పటికీ క్లౌడ్‌లోకి వెళ్లదు

• ఆఫ్‌లైన్ AI — విమానాలలో, సొరంగాలలో, ఎక్కడైనా పనిచేస్తుంది

🔒 గోప్యత & భద్రత
• మొత్తం ఇన్ఫరెన్స్ పరికరంలోనే జరుగుతుంది
• డేటా సేకరణ లేదు, టెలిమెట్రీ లేదు, క్లౌడ్‌పై ఆధారపడటం లేదు
• డిఫాల్ట్‌గా API సర్వర్ మీ స్థానిక నెట్‌వర్క్‌లో మాత్రమే అందుబాటులో ఉంటుంది
• ఓపెన్-సోర్స్ మోడల్ ఎకోసిస్టమ్ — వెండర్ లాక్-ఇన్ లేదు

━━━━━━━━━━━━━━━━━━━━━━━━━━━━

LLM సర్వర్ శక్తివంతమైన ఓపెన్-సోర్స్ AI మోడల్స్‌కు మరియు మీరు ప్రతిరోజూ ఉపయోగించే పరికరాలకు మధ్య వారధిగా పనిచేస్తుంది. క్లౌడ్ API కాల్స్ కోసం డబ్బు చెల్లించడం ఆపండి — మీ స్వంత AIని, మీ స్వంత నిబంధనల ప్రకారం నడపండి.

ఇప్పుడే డౌన్‌లోడ్ చేసుకోండి మరియు మీ ఫోన్‌ను ఒక AI పవర్‌హౌస్‌గా మార్చండి.

కొత్తగా ఏమి ఉన్నాయి

v1.7.0 — Improved first-launch experience with automatic starter model setup. New users get a working AI model within a minute of opening the app.