LLM Hub

timmy boy

Par šo lietotni

LLM Hub nodrošina ražošanas līmeņa AI tieši jūsu Android ierīcē — privātu, ātru un pilnībā lokālu. Palaidiet modernus ierīcē iebūvētos LLM (Gemma-3, Gemma-3n multimodāls, Llama-3.2, Phi-4 Mini) ar lieliem konteksta logiem, pastāvīgu globālo atmiņu un izguves paplašināto paaudzi (RAG), kas pamato atbildes indeksētos dokumentos, kas tiek glabāti ierīcē. Izveidojiet un saglabājiet dokumentu un piezīmju iegulumus, palaidiet vektoru līdzības meklēšanu lokāli un bagātiniet atbildes ar DuckDuckGo nodrošināto tīmekļa meklēšanu, kad jums ir nepieciešami aktuāli fakti. Viss svarīgais paliek tālrunī, ja vien to nepārprotami neeksportējat: tikai vietējā atmiņa, indeksi un iegulšanas aizsargā jūsu privātumu, vienlaikus nodrošinot augstu atbilstību un precizitāti.

Galvenās iezīmes

LLM secinājums ierīcē: ātras, privātas atbildes bez atkarības no mākoņa; izvēlieties modeļus, kas atbilst jūsu ierīcei un vajadzībām.
Retrieval-Augmented Generation (RAG): apvienojiet modeļa argumentāciju ar indeksētiem dokumentu gabaliem un iegulšanu, lai iegūtu uz faktiem pamatotas atbildes.
Pastāvīgā globālā atmiņa: saglabājiet faktus, dokumentus un zināšanas pastāvīgā ierīces lokālajā atmiņā (telpas DB), lai tos varētu ilgstoši atsaukt sesijās.
Iegulšana un vektoru meklēšana: ģenerējiet iegulšanas, lokāli indeksējiet saturu un izgūstiet visatbilstošākos dokumentus, izmantojot efektīvu līdzības meklēšanu.
Multimodāls atbalsts: izmantojiet modeļus ar tekstu un attēlu (Gemma-3n), lai nodrošinātu bagātīgāku mijiedarbību, ja iespējams.
Tīmekļa meklēšanas integrācija: papildiniet vietējās zināšanas ar DuckDuckGo nodrošinātiem tīmekļa rezultātiem, lai iegūtu jaunāko informāciju RAG vaicājumiem un tūlītējām atbildēm.
Gatavs bezsaistē: strādājiet bez piekļuves tīklam — modeļi, atmiņa un indeksi saglabājas ierīcē.
GPU paātrinājums (pēc izvēles): izmantojiet aparatūras paātrinājumu, kur tas tiek atbalstīts — lai iegūtu labākos rezultātus ar lielākiem GPU atbalstītiem modeļiem, iesakām ierīces ar vismaz 8 GB RAM.
Privacy-First Design: Atmiņa, iegulšanas un RAG indeksi pēc noklusējuma paliek lokāli; bez mākoņa augšupielādes, ja vien nepārprotami neizvēlaties koplietot vai eksportēt datus.
Ilgstoša konteksta apstrāde: atbalsts modeļiem ar lieliem konteksta logiem, lai palīgs varētu apsvērt plašus dokumentus un vēsturi.
Izstrādātājiem draudzīgs: integrējas ar vietējiem secinājumiem, indeksēšanu un izguves gadījumiem lietotnēm, kurām nepieciešama privāta, bezsaistes AI.
Kāpēc izvēlēties LLM Hub? LLM Hub ir izveidots, lai nodrošinātu privātu, precīzu un elastīgu AI mobilajās ierīcēs. Tas apvieno lokālo secinājumu ātrumu ar uz izguves balstītu sistēmu faktisko pamatojumu un pastāvīgās atmiņas ērtību — ideāli piemērots zināšanu darbiniekiem, lietotājiem, kuri apzinās privātumu, un izstrādātājiem, kuri veido vietējās AI funkcijas.

Atbalstītie modeļi: Gemma-3, Gemma-3n (multimodāls), Llama-3.2, Phi-4 Mini — izvēlieties modeli, kas atbilst jūsu ierīces iespējām un konteksta vajadzībām.

Jaunumi

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian