LLM Hub

timmy boy

Rreth këtij aplikacioni

LLM Hub sjell AI të nivelit të prodhimit direkt në pajisjen tuaj Android — private, e shpejtë dhe plotësisht lokale. Ekzekutoni LLM-të moderne në pajisje (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) me dritare të mëdha konteksti, memorie të vazhdueshme globale dhe gjenerim të shtuar me rikthim (RAG) që bazojnë përgjigjet në dokumentet e indeksuara të ruajtura në pajisje. Krijoni dhe ruani ngulitje për dokumente dhe shënime, ekzekutoni kërkimin e ngjashmërive vektoriale në nivel lokal dhe pasuroni përgjigjet me kërkimin në internet të mbështetur nga DuckDuckGo kur keni nevojë për fakte të drejtpërdrejta. Çdo gjë e rëndësishme qëndron në telefonin tuaj nëse nuk e eksportoni në mënyrë eksplicite: memoria, indekset dhe ngulitje vetëm lokale mbrojnë privatësinë tuaj duke ofruar rëndësi dhe saktësi të lartë.

Karakteristikat kryesore

Konkluzionet LLM në pajisje: Përgjigje të shpejta, private pa varësi nga cloud; zgjidhni modele që përputhen me pajisjen dhe nevojat tuaja.
Gjenerimi i shtuar me rikthim (RAG): Kombinoni arsyetimin e modelit me pjesët dhe futjet e dokumenteve të indeksuara për të prodhuar përgjigje të bazuara në fakte.
Kujtesa globale e vazhdueshme: Ruani faktet, dokumentet dhe njohuritë në një memorie të vazhdueshme, lokale të pajisjes (DB të dhomës) për rikujtim afatgjatë përgjatë sesioneve.
Embeddings & Vector Search: Gjeneroni ngulitje, indeksoni përmbajtjen në nivel lokal dhe merrni dokumentet më të rëndësishme me kërkim efikas të ngjashmërisë.
Mbështetje multimodale: Përdorni modele të aftë për tekst + imazh (Gemma-3n) për ndërveprime më të pasura kur janë të disponueshme.
Integrimi i kërkimit në ueb: Plotësoni njohuritë lokale me rezultatet e uebit të fuqizuara nga DuckDuckGo për të marrë informacione të përditësuara për pyetjet e RAG dhe përgjigjet e menjëhershme.
Gati jashtë linje: Punoni pa akses në rrjet — modelet, memoria dhe indekset vazhdojnë në pajisje.
Përshpejtimi i GPU-së (opsionale): Përfitoni nga përshpejtimi i harduerit aty ku mbështetet — për rezultate më të mira me modelet më të mëdha të mbështetura nga GPU, ne rekomandojmë pajisje me të paktën 8 GB RAM.
Privacy-First Design: Indekset e kujtesës, embeddings dhe RAG mbeten lokale si parazgjedhje; asnjë ngarkim në renë kompjuterike nëse nuk zgjidhni në mënyrë të qartë të ndani ose eksportoni të dhëna.
Trajtimi me kontekst të gjatë: Mbështetje për modelet me dritare të mëdha konteksti, në mënyrë që asistenti të mund të arsyetojë mbi dokumente dhe histori të gjera.
Miqësore për zhvilluesit: Integrohet me konkluzionet lokale, indeksimin dhe gjetjen e rasteve të përdorimit për aplikacionet që kërkojnë AI private, jashtë linje.
Pse të zgjidhni LLM Hub? LLM Hub është ndërtuar për të ofruar AI private, të saktë dhe fleksibël në celular. Ai bashkon shpejtësinë e konkluzionit lokal me bazën faktike të sistemeve të bazuara në rikthim dhe komoditetin e memories së vazhdueshme - ideale për punonjësit e njohurive, përdoruesit e ndërgjegjshëm për privatësinë dhe zhvilluesit që ndërtojnë veçori të AI-së së pari lokale.

Modelet e mbështetura: Gemma-3, Gemma-3n (multimodal), Llama-3.2, Phi-4 Mini — zgjidhni modelin që i përshtatet aftësive të pajisjes tuaj dhe nevojave të kontekstit.

Ç'të reja ka

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian