LLM Hub

timmy boy

Informace o aplikaci

LLM Hub přináší produkční AI přímo do vašeho Android zařízení – soukromě, rychle a plně lokálně. Spouštějte moderní LLM modely přímo v zařízení (Gemma-3, Gemma-3n multimodální, Llama-3.2, Phi-4 Mini) s velkými kontextovými okny, trvalou globální pamětí a generováním rozšířeným o vyhledávání (RAG), které zakládá odpovědi na indexovaných dokumentech uložených lokálně. Vytvářejte a ukládejte embeddingy pro dokumenty a poznámky, provádějte lokálně vyhledávání vektorové podobnosti a obohacujte odpovědi o webové vyhledávání poháněné DuckDuckGo, když potřebujete aktuální informace. Vše důležité zůstává ve vašem telefonu, pokud to výslovně neexportujete: lokální paměť, indexy a embeddingy chrání vaše soukromí a zároveň zajišťují vysokou relevanci a přesnost.

Klíčové vlastnosti

Lokální inference LLM: Rychlé a soukromé odpovědi bez závislosti na cloudu; vyberte si modely, které odpovídají vašemu zařízení a potřebám.
Generování rozšířené o vyhledávání (RAG): Kombinujte schopnosti modelu s indexovanými částmi dokumentů a embeddingy pro tvorbu odpovědí založených na faktech.
Trvalá globální paměť: Ukládejte fakta, dokumenty a znalosti do trvalé lokální paměti zařízení (Room DB) pro dlouhodobé uchování napříč relacemi.
Embeddingy a vektorové vyhledávání: Generujte embeddingy, indexujte obsah lokálně a vyhledávejte nejrelevantnější dokumenty pomocí efektivního vyhledávání podobnosti.
Multimodální podpora: Využívejte modely schopné zpracovávat text i obrázky (Gemma-3n) pro bohatší interakce, pokud jsou k dispozici.
Integrace webového vyhledávání: Doplňte lokální znalosti o výsledky webového vyhledávání poháněné DuckDuckGo pro získání aktuálních informací pro RAG dotazy a okamžité odpovědi.
Připraveno pro offline použití: Pracujte i bez připojení k síti – modely, paměť a indexy zůstávají v zařízení.
Akcelerace GPU (volitelné): Využijte hardwarovou akceleraci tam, kde je podporována – pro nejlepší výsledky s většími modely využívajícími GPU doporučujeme zařízení s alespoň 8 GB RAM.
Design s prioritou soukromí: Paměť, embeddingy a RAG indexy zůstávají ve výchozím nastavení lokální; data se nenahrávají do cloudu, pokud výslovně nezvolíte jejich sdílení nebo export.
Zpracování dlouhého kontextu: Podpora modelů s velkými kontextovými okny umožňuje asistentovi uvažovat nad rozsáhlými dokumenty a historií konverzací.
Přátelské pro vývojáře: Integruje se s lokální inferencí, indexováním a vyhledávacími scénáři pro aplikace vyžadující soukromou, offline AI.
Proč si vybrat LLM Hub? LLM Hub je navržen tak, aby poskytoval soukromou, přesnou a flexibilní AI na mobilních zařízeních. Spojuje rychlost lokální inference s faktickým zakotvením systémů založených na vyhledávání a pohodlí trvalé paměti – ideální pro znalostní pracovníky, uživatele dbající na soukromí a vývojáře vytvářející lokální AI funkce.

Podporované modely: Gemma-3, Gemma-3n (multimodální), Llama-3.2, Phi-4 Mini – vyberte model, který nejlépe odpovídá možnostem vašeho zařízení a potřebám kontextu.

Novinky

- Vylepšeno okno kontextu Phi-4 Mini Max na 4096 a povolen backend GPU
- Konfigurace načítání modelu si nyní pamatuje poslední nastavení
- Přidána podpora překladu do italštiny