LLM Hub

timmy boy

Informácie o aplikácii

LLM Hub prináša produkčnú AI priamo do vášho Android zariadenia – súkromne, rýchlo a plne lokálne. Spúšťajte moderné LLM modely priamo v zariadení (Gemma-3, Gemma-3n multimodálne, Llama-3.2, Phi-4 Mini) s veľkými kontextovými oknami, trvalou globálnou pamäťou a generovaním rozšíreným o vyhľadávanie (RAG), ktoré zakladá odpovede na indexovaných dokumentoch uložených lokálne. Vytvárajte a ukladajte vloženia pre dokumenty a poznámky, spúšťajte lokálne vyhľadávanie vektorovej podobnosti a obohacujte odpovede o webové vyhľadávanie cez DuckDuckGo, keď potrebujete aktuálne informácie. Všetko dôležité zostáva vo vašom telefóne, pokiaľ to výslovne neexportujete: lokálna pamäť, indexy a vloženia chránia vaše súkromie a zároveň zabezpečujú vysokú relevantnosť a presnosť.

Kľúčové funkcie

Lokálne spracovanie LLM: Rýchle, súkromné odpovede bez závislosti na cloude; vyberte si modely, ktoré zodpovedajú vášmu zariadeniu a potrebám.
Generovanie rozšírené o vyhľadávanie (RAG): Kombinujte uvažovanie modelu s indexovanými časťami dokumentov a vloženiami pre odpovede založené na faktoch.
Trvalá globálna pamäť: Ukladajte fakty, dokumenty a znalosti do trvalej, lokálnej pamäte zariadenia (Room DB) pre dlhodobé zapamätanie si naprieč reláciami.
Vloženia a vektorové vyhľadávanie: Generujte vloženia, indexujte obsah lokálne a nájdite najrelevantnejšie dokumenty pomocou efektívneho vyhľadávania podobnosti.
Multimodálna podpora: Používajte modely schopné spracovať text aj obrázky (Gemma-3n) pre bohatšie interakcie, ak sú k dispozícii.
Integrácia webového vyhľadávania: Doplňte lokálne znalosti o výsledky webového vyhľadávania cez DuckDuckGo a získajte aktuálne informácie pre RAG dotazy a okamžité odpovede.
Pripravené na offline použitie: Pracujte bez prístupu k sieti – modely, pamäť a indexy zostávajú v zariadení.
Akcelerácia GPU (voliteľné): Využite hardvérovú akceleráciu tam, kde je podporovaná – pre najlepšie výsledky s väčšími modelmi podporovanými GPU odporúčame zariadenia s aspoň 8 GB RAM.
Dizajn s dôrazom na súkromie: Pamäť, vloženia a RAG indexy zostávajú predvolene lokálne; žiadne nahrávanie do cloudu, pokiaľ výslovne nezvolíte zdieľanie alebo export údajov.
Spracovanie dlhého kontextu: Podpora modelov s veľkými kontextovými oknami, aby asistent dokázal uvažovať nad rozsiahlymi dokumentmi a históriami.
Priateľské pre vývojárov: Integruje sa s lokálnym spracovaním, indexovaním a vyhľadávacími prípadmi použitia pre aplikácie vyžadujúce súkromnú, offline AI.
Prečo si vybrať LLM Hub? LLM Hub je navrhnutý tak, aby poskytoval súkromnú, presnú a flexibilnú AI na mobilných zariadeniach. Spája rýchlosť lokálneho spracovania s faktickým základom systémov založených na vyhľadávaní a pohodlie trvalej pamäte – ideálne pre znalostných pracovníkov, používateľov dbajúcich na súkromie a vývojárov vytvárajúcich lokálne AI funkcie.

Podporované modely: Gemma-3, Gemma-3n (multimodálne), Llama-3.2, Phi-4 Mini – vyberte si model, ktorý vyhovuje možnostiam vášho zariadenia a potrebám kontextu.

Novinky

- Rozšírené kontextové okno Phi-4 Mini Max na 4096 a povolený GPU backend
- Konfigurácia načítania modelov si teraz pamätá vaše posledné nastavenia
- Pridaný preklad do taliančiny