LLM Hub

timmy boy

O ovoj aplikaciji

LLM Hub donosi AI proizvodne razine ravno na vaš Android uređaj — privatno, brzo i potpuno lokalno. Pokrećite moderne LLM-ove na uređaju (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) s velikim kontekstnim prozorima, trajnom globalnom memorijom i generiranjem proširenog dohvaćanja (RAG) koje temelji odgovore u indeksiranim dokumentima pohranjenim na uređaju. Stvorite i pohranite ugradnje za dokumente i bilješke, pokrenite lokalno pretraživanje sličnosti vektora i obogatite odgovore web pretraživanjem koje pokreće DuckDuckGo kada su vam potrebne činjenice uživo. Sve važno ostaje na vašem telefonu osim ako to izričito ne izvezete: samo lokalna memorija, indeksi i ugradnje štite vašu privatnost uz visoku relevantnost i točnost.

Ključne značajke

LLM zaključivanje na uređaju: brzi, privatni odgovori bez ovisnosti o oblaku; odaberite modele koji odgovaraju vašem uređaju i potrebama.
Retrieval-Augmented Generation (RAG): Kombinirajte razmišljanje modela s indeksiranim dijelovima dokumenta i ugrađivanjem kako biste proizveli odgovore utemeljene na činjenicama.
Trajna globalna memorija: Spremite činjenice, dokumente i znanje u trajnu, lokalnu memoriju uređaja (Sobna baza podataka) za dugoročno prisjećanje tijekom sesija.
Ugradnje i vektorsko pretraživanje: Generirajte ugradnje, lokalno indeksirajte sadržaj i dohvatite najrelevantnije dokumente učinkovitim pretraživanjem sličnosti.
Multimodalna podrška: Koristite modele koji podržavaju tekst + sliku (Gemma-3n) za bogatije interakcije kada su dostupni.
Integracija web pretraživanja: Dopunite lokalno znanje web rezultatima koje pokreće DuckDuckGo kako biste dohvatili ažurne informacije za RAG upite i trenutne odgovore.
Spreman za izvanmrežni rad: rad bez pristupa mreži — modeli, memorija i indeksi ostaju na uređaju.
GPU ubrzanje (opcionalno): Iskoristite hardversko ubrzanje tamo gdje je podržano — za najbolje rezultate s većim modelima s podrškom za GPU preporučujemo uređaje s najmanje 8 GB RAM-a.
Dizajn na prvom mjestu privatnosti: memorija, ugradnje i RAG indeksi ostaju lokalni prema zadanim postavkama; nema prijenosa u oblak osim ako izričito ne odaberete dijeljenje ili izvoz podataka.
Rukovanje dugim kontekstom: Podrška za modele s velikim kontekstnim prozorima kako bi pomoćnik mogao razmišljati o opsežnim dokumentima i povijesti.
Pogodan za programere: Integrira se s lokalnim zaključivanjem, indeksiranjem i slučajevima korištenja za aplikacije koje zahtijevaju privatni, izvanmrežni AI.
Zašto odabrati LLM Hub? LLM Hub izgrađen je za pružanje privatne, precizne i fleksibilne umjetne inteligencije na mobilnim uređajima. Spaja brzinu lokalnog zaključivanja s činjeničnom utemeljenošću sustava koji se temelje na pronalaženju i pogodnošću trajne memorije — idealno za radnike koji rade na znanju, korisnike koji paze na privatnost i programere koji grade lokalne značajke AI-a.

Podržani modeli: Gemma-3, Gemma-3n (multimodalni), Llama-3.2, Phi-4 Mini — odaberite model koji odgovara mogućnostima vašeg uređaja i potrebama konteksta.

Što je novo

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian