LLM Hub

timmy boy

या अ‍ॅपविषयी

LLM Hub थेट तुमच्या Android डिव्हाइसवर उत्पादन-ग्रेड AI आणते — खाजगी, जलद आणि पूर्णपणे स्थानिक. आधुनिक ऑन-डिव्हाइस LLMs (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) मोठ्या कॉन्टेक्स्ट विंडोसह चालवा, पर्सिस्टंट ग्लोबल मेमरी आणि रिट्रीव्हल-ऑग्मेंटेड जनरेशन (RAG) जे डिव्हाइसवर संग्रहित अनुक्रमित दस्तऐवजांमध्ये उत्तरे देतात. दस्तऐवज आणि नोट्ससाठी एम्बेडिंग तयार करा आणि संग्रहित करा, स्थानिक पातळीवर व्हेक्टर समानता शोध चालवा आणि जेव्हा तुम्हाला थेट तथ्यांची आवश्यकता असेल तेव्हा DuckDuckGo-समर्थित वेब शोधासह प्रतिसाद समृद्ध करा. तुम्ही स्पष्टपणे निर्यात करत नाही तोपर्यंत तुमच्या फोनवर महत्त्वाच्या सर्व गोष्टी राहतात: स्थानिक स्मृती, अनुक्रमणिका आणि एम्बेडिंग तुमच्या गोपनीयतेचे रक्षण करण्याने तुमच्या गोपनीयतेचे रक्षण करण्यात येते.

प्रमुख वैशिष्ट्ये

ऑन-डिव्हाइस LLM अनुमान: क्लाउड अवलंबित्वाशिवाय जलद, खाजगी प्रतिसाद; तुमच्या डिव्हाइस आणि गरजांशी जुळणारे मॉडेल निवडा.
पुनर्प्राप्ती-संवर्धित जनरेशन (RAG): वस्तुस्थितीवर आधारित उत्तरे तयार करण्यासाठी अनुक्रमित दस्तऐवज भाग आणि एम्बेडिंगसह मॉडेल तर्क एकत्र करा.
पर्सिस्टंट ग्लोबल मेमरी: संपूर्ण सत्रांमध्ये दीर्घकालीन रिकॉलसाठी पर्सिस्टंट, डिव्हाइस-लोकल मेमरी (रूम डीबी) मध्ये तथ्ये, दस्तऐवज आणि ज्ञान जतन करा.
एम्बेडिंग आणि वेक्टर शोध: एम्बेडिंग्स व्युत्पन्न करा, स्थानिक पातळीवर सामग्री अनुक्रमित करा आणि कार्यक्षम समानता शोधासह सर्वात संबंधित दस्तऐवज पुनर्प्राप्त करा.
मल्टीमोडल सपोर्ट: जेव्हा उपलब्ध असेल तेव्हा समृद्ध परस्परसंवादासाठी मजकूर + प्रतिमा सक्षम मॉडेल (जेम्मा-3n) वापरा.
वेब शोध एकत्रीकरण: RAG क्वेरी आणि झटपट उत्तरांसाठी अद्ययावत माहिती मिळवण्यासाठी DuckDuckGo-सक्षम वेब परिणामांसह स्थानिक ज्ञानाची पूर्तता करा.
ऑफलाइन-तयार: नेटवर्क प्रवेशाशिवाय कार्य करा — मॉडेल, मेमरी आणि अनुक्रमणिका डिव्हाइसवर टिकून राहतात.
GPU प्रवेग (पर्यायी): जेथे समर्थित असेल तेथे हार्डवेअर प्रवेगचा फायदा घ्या — मोठ्या GPU-बॅक्ड मॉडेल्ससह सर्वोत्तम परिणामांसाठी आम्ही किमान 8GB RAM असलेल्या उपकरणांची शिफारस करतो.
गोपनीयता-प्रथम डिझाइन: मेमरी, एम्बेडिंग आणि आरएजी निर्देशांक डीफॉल्टनुसार स्थानिक राहतात; जोपर्यंत तुम्ही स्पष्टपणे डेटा शेअर करणे किंवा निर्यात करणे निवडत नाही तोपर्यंत कोणतेही क्लाउड अपलोड नाही.
दीर्घ-संदर्भ हाताळणी: मोठ्या संदर्भ विंडोसह मॉडेलसाठी समर्थन जेणेकरून सहाय्यक विस्तृत दस्तऐवज आणि इतिहासांवर तर्क करू शकेल.
विकसक-अनुकूल: खाजगी, ऑफलाइन AI आवश्यक असलेल्या ॲप्ससाठी स्थानिक अनुमान, अनुक्रमणिका आणि पुनर्प्राप्ती वापर-केससह समाकलित करते.
एलएलएम हब का निवडावा? LLM हब मोबाईलवर खाजगी, अचूक आणि लवचिक एआय वितरीत करण्यासाठी तयार केले आहे. हे पुनर्प्राप्ती-आधारित सिस्टीमच्या तथ्यात्मक आधारावर आणि पर्सिस्टंट मेमरीच्या सोयीसह स्थानिक अनुमानांच्या गतीचे विलीनीकरण करते — ज्ञान कामगार, गोपनीयता-जागरूक वापरकर्ते आणि स्थानिक-प्रथम AI वैशिष्ट्ये तयार करणाऱ्या विकासकांसाठी आदर्श.

सपोर्टेड मॉडेल्स: Gemma-3, Gemma-3n (मल्टीमॉडल), Llama-3.2, Phi-4 Mini — तुमच्या डिव्हाइस क्षमता आणि संदर्भाच्या गरजा पूर्ण करणारे मॉडेल निवडा.

नवीन काय आहे

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian