LLM Hub

timmy boy

Om denne appen

LLM Hub gir deg produksjonsklar AI rett på Android-enheten din – privat, raskt og helt lokalt. Kjør moderne, lokale LLM-er (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) med store kontekstvinduer, vedvarende globalt minne og Retrieval-Augmented Generation (RAG) som baserer svar på indekserte dokumenter lagret på enheten. Opprett og lagre embeddings for dokumenter og notater, utfør lokal vektorsøk, og berik svar med nettsøk drevet av DuckDuckGo når du trenger oppdaterte fakta. Alt viktig forblir på telefonen din med mindre du eksplisitt eksporterer det: lokalt minne, indekser og embeddings beskytter personvernet ditt samtidig som de gir høy relevans og nøyaktighet.

Nøkkelfunksjoner

Lokal LLM-inferens: Raske, private svar uten avhengighet av skyen; velg modeller som passer enheten og behovene dine.
Retrieval-Augmented Generation (RAG): Kombiner modellens resonnering med indekserte dokumentbiter og embeddings for å gi faktabaserte svar.
Vedvarende globalt minne: Lagre fakta, dokumenter og kunnskap i et vedvarende, lokalt minne på enheten (Room DB) for langvarig gjenkalling på tvers av økter.
Embeddings og vektorsøk: Generer embeddings, indekser innhold lokalt, og finn de mest relevante dokumentene med effektivt likhetssøk.
Multimodal støtte: Bruk modeller som håndterer både tekst og bilde (Gemma-3n) for rikere interaksjoner der det er tilgjengelig.
Nettsøkintegrasjon: Suppler lokal kunnskap med nettresultater fra DuckDuckGo for å hente oppdatert informasjon til RAG-spørringer og umiddelbare svar.
Klar for offline: Fungerer uten nettverkstilgang – modeller, minne og indekser lagres på enheten.
GPU-akselerasjon (valgfritt): Dra nytte av maskinvareakselerasjon der det støttes – for best resultat med større GPU-støttede modeller anbefaler vi enheter med minst 8 GB RAM.
Personvern-først design: Minne, embeddings og RAG-indekser forblir lokale som standard; ingen opplasting til skyen med mindre du eksplisitt velger å dele eller eksportere data.
Håndtering av lang kontekst: Støtte for modeller med store kontekstvinduer slik at assistenten kan resonnere over omfattende dokumenter og historikk.
Utviklervennlig: Integreres med lokale bruksområder for inferens, indeksering og gjenfinning for apper som krever privat, offline AI.
Hvorfor velge LLM Hub? LLM Hub er utviklet for å levere privat, nøyaktig og fleksibel AI på mobil. Den kombinerer hastigheten til lokal inferens med den faktiske forankringen fra gjenfinningsbaserte systemer og fordelen med vedvarende minne – ideelt for kunnskapsarbeidere, personvernbevisste brukere og utviklere som bygger lokale AI-funksjoner.

Støttede modeller: Gemma-3, Gemma-3n (multimodal), Llama-3.2, Phi-4 Mini – velg modellen som passer enhetens kapasitet og kontekstbehov.

Hva er nytt?

- Oppgradert Phi-4 Mini Max kontekstvindu til 4096 og aktivert GPU-backend
- Modellkonfigurasjonen husker nå dine siste innstillinger
- Lagt til oversettelse til italiensk