LLM Hub

timmy boy

Sobre l'aplicació

LLM Hub aporta IA de qualitat de producció directament al vostre dispositiu Android: privat, ràpid i totalment local. Executeu LLM moderns al dispositiu (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) amb grans finestres de context, memòria global persistent i generació augmentada per la recuperació (RAG) que fonamenta les respostes en documents indexats emmagatzemats al dispositiu. Creeu i emmagatzemeu incrustacions per a documents i notes, executeu la cerca de similitud de vectors localment i enriquiu les respostes amb la cerca web impulsada per DuckDuckGo quan necessiteu fets en directe. Tot el que és important es manté al telèfon tret que l'exportis explícitament: la memòria, els índexs i les incrustacions només locals protegeixen la teva privadesa alhora que ofereixen una gran rellevància i precisió.

Característiques clau

Inferència de LLM al dispositiu: respostes privades i ràpides sense dependència del núvol; tria models que s'adaptin al teu dispositiu i necessitats.
Retrieval-Augmented Generation (RAG): combina el raonament del model amb fragments de documents indexats i incrustacions per produir respostes basades en fets.
Memòria global persistent: deseu fets, documents i coneixements en una memòria local del dispositiu persistent (Room DB) per a la recuperació a llarg termini de les sessions.
Incrustacions i cerca vectorial: genereu incrustacions, indexeu el contingut localment i recupereu els documents més rellevants amb una cerca de semblança eficient.
Suport multimodal: utilitzeu models compatibles amb text i imatge (Gemma-3n) per a interaccions més riques quan estiguin disponibles.
Integració de cerca web: complementeu els coneixements locals amb resultats web impulsats per DuckDuckGo per obtenir informació actualitzada per a consultes RAG i respostes instantànies.
Preparat fora de línia: treballeu sense accés a la xarxa: els models, la memòria i els índexs persisteixen al dispositiu.
Acceleració GPU (opcional): Beneficieu-vos de l'acceleració de maquinari quan sigui compatible; per obtenir els millors resultats amb models més grans amb suport de GPU, recomanem dispositius amb almenys 8 GB de RAM.
Disseny de privadesa primer: la memòria, les incrustacions i els índexs RAG romanen locals per defecte; cap càrrega al núvol tret que trieu explícitament compartir o exportar dades.
Gestió de context llarg: suport per a models amb finestres de context grans perquè l'assistent pugui raonar sobre documents i historials extensos.
Apte per a desenvolupadors: s'integra amb casos d'ús locals d'inferència, indexació i recuperació per a aplicacions que requereixen IA privada i fora de línia.
Per què triar LLM Hub? LLM Hub està dissenyat per oferir una IA privada, precisa i flexible al mòbil. Combina la velocitat de la inferència local amb la base factual dels sistemes basats en la recuperació i la comoditat de la memòria persistent, ideal per als treballadors del coneixement, usuaris conscients de la privadesa i desenvolupadors que creen funcions d'IA locals.

Models compatibles: Gemma-3, Gemma-3n (multimodal), Llama-3.2, Phi-4 Mini: trieu el model que s'adapti a les capacitats del vostre dispositiu i a les necessitats del context.

Novetats

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian