LLM-Hub

timmy boy

Über diese App

LLM Hub bringt KI in Produktionsqualität direkt auf Ihr Android-Gerät – privat, schnell und komplett lokal. Führen Sie moderne On-Device-LLMs (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) mit großen Kontextfenstern, persistentem globalem Speicher und Retrieval-Augmented Generation (RAG) aus, die Antworten auf Basis von indizierten Dokumenten auf dem Gerät liefert. Erstellen und speichern Sie Embeddings für Dokumente und Notizen, führen Sie lokal eine Vektorähnlichkeitssuche durch und reichern Sie Antworten bei Bedarf mit aktuellen Fakten aus der DuckDuckGo-Websuche an. Alles Wichtige bleibt auf Ihrem Telefon, es sei denn, Sie exportieren es explizit: Lokaler Speicher, Indizes und Embeddings schützen Ihre Privatsphäre und sorgen gleichzeitig für hohe Relevanz und Genauigkeit.

Hauptfunktionen

On-Device LLM-Inferenz: Schnelle, private Antworten ohne Cloud-Abhängigkeit; wählen Sie Modelle, die zu Ihrem Gerät und Ihren Anforderungen passen.
Retrieval-Augmented Generation (RAG): Kombinieren Sie die Logik des Modells mit indizierten Dokumentfragmenten und Embeddings, um faktenbasierte Antworten zu generieren.
Persistenter globaler Speicher: Speichern Sie Fakten, Dokumente und Wissen in einem persistenten, lokalen Speicher auf dem Gerät (Room DB) für den langfristigen Abruf über verschiedene Sitzungen hinweg.
Embeddings & Vektorsuche: Generieren Sie Embeddings, indizieren Sie Inhalte lokal und finden Sie die relevantesten Dokumente durch effiziente Ähnlichkeitssuche.
Multimodale Unterstützung: Nutzen Sie Modelle, die Text und Bilder verarbeiten können (Gemma-3n), für vielfältigere Interaktionen, sofern verfügbar.
Websuche-Integration: Ergänzen Sie lokales Wissen mit Ergebnissen der DuckDuckGo-Websuche, um aktuelle Informationen für RAG-Abfragen und sofortige Antworten zu erhalten.
Offline-fähig: Funktioniert ohne Netzwerkzugriff – Modelle, Speicher und Indizes bleiben auf dem Gerät erhalten.
GPU-Beschleunigung (optional): Profitieren Sie von Hardwarebeschleunigung, wo unterstützt – für beste Ergebnisse mit größeren, GPU-unterstützten Modellen empfehlen wir Geräte mit mindestens 8 GB RAM.
Datenschutzorientiertes Design: Speicher, Embeddings und RAG-Indizes bleiben standardmäßig lokal; kein Cloud-Upload, es sei denn, Sie entscheiden sich explizit für die Freigabe oder den Export von Daten.
Umgang mit langem Kontext: Unterstützung für Modelle mit großen Kontextfenstern, damit der Assistent umfangreiche Dokumente und Verläufe verarbeiten kann.
Entwicklerfreundlich: Lässt sich in lokale Inferenz-, Indizierungs- und Abrufszenarien für Apps integrieren, die private, Offline-KI benötigen.
Warum LLM Hub wählen? LLM Hub wurde entwickelt, um private, genaue und flexible KI auf Mobilgeräten zu ermöglichen. Es kombiniert die Geschwindigkeit der lokalen Inferenz mit der faktischen Fundierung durch abrufbasierte Systeme und dem Komfort eines persistenten Speichers – ideal für Wissensarbeiter, datenschutzbewusste Nutzer und Entwickler, die lokale KI-Funktionen erstellen.

Unterstützte Modelle: Gemma-3, Gemma-3n (multimodal), Llama-3.2, Phi-4 Mini – wählen Sie das Modell, das zu den Fähigkeiten Ihres Geräts und Ihren Kontextanforderungen passt.

Neuerungen

- Phi-4 Mini Max Kontextfenster auf 4096 erweitert und GPU-Backend aktiviert
- Modelllade-Konfiguration merkt sich jetzt Ihre letzten Einstellungen
- Italienische Übersetzung hinzugefügt