LLM Hub

timmy boy

O tej aplikaciji

LLM Hub prinaša umetno inteligenco proizvodnega razreda neposredno v vašo napravo Android – zasebno, hitro in popolnoma lokalno. Izvajajte sodobne LLM-je v napravi (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) z velikimi kontekstnimi okni, trajnim globalnim pomnilnikom in generiranjem z razširjenim iskanjem (RAG), ki temelji na odgovorih v indeksiranih dokumentih, shranjenih v napravi. Ustvarite in shranite vdelave za dokumente in zapiske, lokalno zaženite iskanje vektorskih podobnosti in obogatite odgovore s spletnim iskanjem, ki ga poganja DuckDuckGo, ko potrebujete dejstva v živo. Vse, kar je pomembno, ostane v vašem telefonu, razen če tega izrecno ne izvozite: samo lokalni pomnilnik, indeksi in vdelave ščitijo vašo zasebnost, hkrati pa zagotavljajo visoko ustreznost in natančnost.

Ključne značilnosti

Sklep LLM v napravi: hitri, zasebni odgovori brez odvisnosti od oblaka; izberite modele, ki ustrezajo vaši napravi in ​​potrebam.
Retrieval-Augmented Generation (RAG): Združite sklepanje modela z indeksiranimi kosi dokumentov in vdelavami, da ustvarite odgovore, ki temeljijo na dejstvih.
Trajni globalni pomnilnik: shranite dejstva, dokumente in znanje v trajni lokalni pomnilnik naprave (DB sobe) za dolgoročni priklic med sejami.
Vdelave in vektorsko iskanje: ustvarite vdelave, lokalno indeksirajte vsebino in pridobite najpomembnejše dokumente z učinkovitim iskanjem po podobnosti.
Multimodalna podpora: uporabite modele, ki podpirajo besedilo + sliko (Gemma-3n) za bogatejše interakcije, ko so na voljo.
Integracija spletnega iskanja: Dopolnite lokalno znanje s spletnimi rezultati, ki jih poganja DuckDuckGo, da pridobite posodobljene informacije za poizvedbe RAG in takojšnje odgovore.
Pripravljen za delo brez povezave: Delajte brez dostopa do omrežja – modeli, pomnilnik in indeksi ostanejo v napravi.
Pospešek GPE (izbirno): Izkoristite strojno pospeševanje, kjer je podprto — za najboljše rezultate z večjimi modeli, ki podpirajo GPE, priporočamo naprave z vsaj 8 GB RAM-a.
Privacy-First Design: pomnilnik, vdelave in indeksi RAG ostanejo privzeto lokalni; brez nalaganja v oblak, razen če se izrecno odločite za skupno rabo ali izvoz podatkov.
Ravnanje z dolgim ​​kontekstom: podpora za modele z velikimi kontekstnimi okni, tako da lahko pomočnik razmišlja o obsežnih dokumentih in zgodovini.
Razvijalcu prijazno: Integrira se z lokalnim sklepanjem, indeksiranjem in primeri uporabe za aplikacije, ki zahtevajo zasebno umetno inteligenco brez povezave.
Zakaj izbrati LLM Hub? LLM Hub je zgrajen za zagotavljanje zasebnega, natančnega in prilagodljivega umetne inteligence na mobilnih napravah. Združuje hitrost lokalnega sklepanja z dejansko utemeljenostjo sistemov, ki temeljijo na iskanju, in priročnostjo trajnega pomnilnika – idealno za delavce znanja, uporabnike, ki se zavedajo zasebnosti, in razvijalce, ki gradijo lokalne funkcije umetne inteligence.

Podprti modeli: Gemma-3, Gemma-3n (multimodalni), Llama-3.2, Phi-4 Mini — izberite model, ki ustreza zmogljivostim vaše naprave in potrebam konteksta.

Novosti

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian