LLM Hub

timmy boy

ఈ యాప్ గురించి పరిచయం

LLM హబ్ ప్రొడక్షన్-గ్రేడ్ AIని నేరుగా మీ Android పరికరానికి అందిస్తుంది — ప్రైవేట్, వేగవంతమైన మరియు పూర్తిగా స్థానికం. ఆధునిక ఆన్-డివైస్ LLMలను (Gemma-3, Gemma-3n మల్టీమోడల్, Llama-3.2, Phi-4 Mini) పెద్ద కాంటెక్స్ట్ విండోస్, నిరంతర గ్లోబల్ మెమరీ మరియు రిట్రీవల్-ఆగ్మెంటెడ్ జనరేషన్ (RAG)తో రన్ చేయండి, ఇవి పరికరంలో నిల్వ చేయబడిన సూచిక డాక్యుమెంట్‌లలో సమాధానాలను కలిగి ఉంటాయి. డాక్యుమెంట్‌లు మరియు నోట్స్ కోసం ఎంబెడ్డింగ్‌లను సృష్టించండి మరియు నిల్వ చేయండి, వెక్టర్ సారూప్యత శోధనను స్థానికంగా అమలు చేయండి మరియు మీకు ప్రత్యక్ష వాస్తవాలు అవసరమైనప్పుడు DuckDuckGo-ఆధారిత వెబ్ శోధనతో ప్రతిస్పందనలను మెరుగుపరచండి. మీరు స్పష్టంగా ఎగుమతి చేసే వరకు ముఖ్యమైనవన్నీ మీ ఫోన్‌లో ఉంటాయి: స్థానికంగా మాత్రమే మెమరీ, ఇండెక్స్‌లు మరియు ఎంబెడ్డింగ్‌లు అధిక ఔచిత్యం మరియు ఖచ్చితత్వాన్ని అందించేటప్పుడు మీ గోప్యతను కాపాడతాయి.

కీ ఫీచర్లు

పరికరంలో LLM అనుమితి: క్లౌడ్ డిపెండెన్సీ లేకుండా వేగవంతమైన, ప్రైవేట్ ప్రతిస్పందనలు; మీ పరికరం మరియు అవసరాలకు సరిపోయే మోడల్‌లను ఎంచుకోండి.
పునరుద్ధరణ-అగ్మెంటెడ్ జనరేషన్ (RAG): మోడల్ రీజనింగ్‌ను ఇండెక్స్డ్ డాక్యుమెంట్ భాగాలు మరియు ఎంబెడ్డింగ్‌లతో కలిపి వాస్తవ-ఆధారిత సమాధానాలను రూపొందించండి.
నిరంతర గ్లోబల్ మెమరీ: సెషన్‌లలో దీర్ఘకాలిక రీకాల్ కోసం వాస్తవాలు, పత్రాలు మరియు పరిజ్ఞానాన్ని స్థిరమైన, పరికర-స్థానిక మెమరీ (రూమ్ DB)కి సేవ్ చేయండి.
ఎంబెడ్డింగ్‌లు & వెక్టర్ శోధన: ఎంబెడ్డింగ్‌లు, ఇండెక్స్ కంటెంట్‌ని స్థానికంగా రూపొందించండి మరియు సమర్థవంతమైన సారూప్యత శోధనతో అత్యంత సంబంధిత పత్రాలను తిరిగి పొందండి.
మల్టీమోడల్ మద్దతు: అందుబాటులో ఉన్నప్పుడు రిచ్ ఇంటరాక్షన్‌ల కోసం టెక్స్ట్ + ఇమేజ్ సామర్థ్యం గల మోడల్‌లను (జెమ్మా-3n) ఉపయోగించండి.
వెబ్ శోధన ఇంటిగ్రేషన్: RAG ప్రశ్నలు మరియు తక్షణ సమాధానాల కోసం తాజా సమాచారాన్ని పొందడానికి DuckDuckGo-ఆధారిత వెబ్ ఫలితాలతో స్థానిక పరిజ్ఞానాన్ని భర్తీ చేయండి.
ఆఫ్‌లైన్-సిద్ధంగా: నెట్‌వర్క్ యాక్సెస్ లేకుండా పని చేయండి — మోడల్‌లు, మెమరీ మరియు ఇండెక్స్‌లు పరికరంలో కొనసాగుతాయి.
GPU యాక్సిలరేషన్ (ఐచ్ఛికం): మద్దతు ఉన్న హార్డ్‌వేర్ యాక్సిలరేషన్ నుండి ప్రయోజనం పొందండి — పెద్ద GPU-మద్దతు గల మోడల్‌లతో ఉత్తమ ఫలితాల కోసం మేము కనీసం 8GB RAM ఉన్న పరికరాలను సిఫార్సు చేస్తున్నాము.
గోప్యత-మొదటి డిజైన్: మెమరీ, ఎంబెడ్డింగ్‌లు మరియు RAG సూచికలు డిఫాల్ట్‌గా స్థానికంగా ఉంటాయి; మీరు డేటాను భాగస్వామ్యం చేయడానికి లేదా ఎగుమతి చేయడానికి స్పష్టంగా ఎంచుకుంటే మినహా క్లౌడ్ అప్‌లోడ్ ఉండదు.
లాంగ్-కాంటెక్స్ట్ హ్యాండ్లింగ్: పెద్ద కాంటెక్స్ట్ విండోస్‌తో మోడల్‌లకు సపోర్ట్ చేస్తుంది కాబట్టి అసిస్టెంట్ విస్తృతమైన డాక్యుమెంట్‌లు మరియు హిస్టరీలను తర్కించవచ్చు.
డెవలపర్-స్నేహపూర్వక: ప్రైవేట్, ఆఫ్‌లైన్ AI అవసరమయ్యే యాప్‌ల కోసం స్థానిక అనుమితి, ఇండెక్సింగ్ మరియు పునరుద్ధరణ వినియోగ కేసులతో అనుసంధానించబడుతుంది.
LLM హబ్‌ను ఎందుకు ఎంచుకోవాలి? మొబైల్‌లో ప్రైవేట్, ఖచ్చితమైన మరియు సౌకర్యవంతమైన AIని అందించడానికి LLM హబ్ నిర్మించబడింది. ఇది స్థానిక అనుమితి వేగాన్ని పునరుద్ధరణ-ఆధారిత సిస్టమ్‌ల వాస్తవిక గ్రౌండింగ్‌తో మరియు నిరంతర జ్ఞాపకశక్తి సౌలభ్యంతో విలీనం చేస్తుంది — ఇది జ్ఞాన కార్మికులు, గోప్యతపై అవగాహన ఉన్న వినియోగదారులు మరియు స్థానిక-మొదటి AI లక్షణాలను రూపొందించే డెవలపర్‌లకు అనువైనది.

మద్దతు ఉన్న మోడల్‌లు: Gemma-3, Gemma-3n (మల్టీమోడల్), లామా-3.2, Phi-4 Mini — మీ పరికర సామర్థ్యాలు మరియు సందర్భ అవసరాలకు సరిపోయే మోడల్‌ను ఎంచుకోండి.

కొత్తగా ఏమి ఉన్నాయి

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian