LLM Hub bringer AI i produktionskvalitet direkte til din Android-enhed – privat, hurtig og fuldt ud lokalt. Kør moderne LLM'er direkte på enheden (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) med store kontekstvinduer, vedvarende global hukommelse og retrieval-augmented generation (RAG), der baserer svar på indekserede dokumenter gemt lokalt. Opret og gem embeddings for dokumenter og noter, udfør lokal vektorlighedssøgning, og berig svar med DuckDuckGo-drevet websøgning, når du har brug for opdaterede fakta. Alt vigtigt forbliver på din telefon, medmindre du eksplicit eksporterer det: lokal hukommelse, indekser og embeddings beskytter dit privatliv, samtidig med at de sikrer høj relevans og nøjagtighed.
Nøglefunktioner
LLM-inferens på enheden: Hurtige, private svar uden afhængighed af cloud; vælg modeller, der passer til din enhed og dine behov.
Retrieval-Augmented Generation (RAG): Kombiner modellens ræsonnement med indekserede dokumentstykker og embeddings for at give faktabaserede svar.
Vedvarende Global Hukommelse: Gem fakta, dokumenter og viden i en vedvarende, lokal hukommelse på enheden (Room DB) for langvarig genkaldelse på tværs af sessioner.
Embeddings & Vektor Søgning: Generer embeddings, indekser indhold lokalt, og find de mest relevante dokumenter med effektiv lighedssøgning.
Multimodal Understøttelse: Brug modeller, der kan håndtere tekst og billeder (Gemma-3n), for rigere interaktioner, når det er muligt.
Websøgning Integration: Suppler lokal viden med DuckDuckGo-drevne webresultater for at hente opdateret information til RAG-forespørgsler og øjeblikkelige svar.
Offline-Klar: Arbejd uden netværksadgang – modeller, hukommelse og indekser forbliver på enheden.
GPU Acceleration (valgfrit): Udnyt hardwareacceleration, hvor det understøttes – for bedste resultater med større GPU-understøttede modeller anbefaler vi enheder med mindst 8 GB RAM.
Privatliv-Først Design: Hukommelse, embeddings og RAG-indekser forbliver lokale som standard; ingen upload til cloud, medmindre du eksplicit vælger at dele eller eksportere data.
Håndtering af Lang Kontekst: Understøttelse af modeller med store kontekstvinduer, så assistenten kan ræsonnere over omfattende dokumenter og historik.
Udvikler-Venlig: Integrerer med lokale inferens-, indekserings- og retrieval-brugsscenarier for apps, der kræver privat, offline AI.
Hvorfor vælge LLM Hub? LLM Hub er bygget til at levere privat, nøjagtig og fleksibel AI på mobil. Den kombinerer hastigheden ved lokal inferens med den faktuelle forankring fra retrieval-baserede systemer og bekvemmeligheden ved vedvarende hukommelse – ideel for vidensarbejdere, brugere med fokus på privatliv og udviklere, der bygger AI-funktioner med lokal-først tilgang.
Understøttede Modeller: Gemma-3, Gemma-3n (multimodal), Llama-3.2, Phi-4 Mini – vælg den model, der passer til din enheds kapaciteter og kontekstbehov.