LLM Hub

timmy boy

Apie šią programą

„LLM Hub“ pristato gamybos lygio AI tiesiai į jūsų „Android“ įrenginį – privatų, greitą ir visiškai vietinį. Vykdykite šiuolaikiškus įrenginiuose esančius LLM (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) su dideliais konteksto langais, nuolatine visuotine atmintimi ir paieškos papildyta generacija (RAG), kuri atsakymus pagrindžia įrenginyje saugomuose indeksuotuose dokumentuose. Kurkite ir saugokite dokumentų ir pastabų įterpimus, vykdykite vektorinio panašumo paiešką vietoje ir praturtinkite atsakymus naudodami „DuckDuckGo“ valdomą žiniatinklio paiešką, kai jums reikia tiesioginių faktų. Viskas, kas svarbu, lieka jūsų telefone, nebent jį aiškiai eksportuosite: tik vietinė atmintis, indeksai ir įterpimai apsaugo jūsų privatumą, kartu užtikrindami didelį aktualumą ir tikslumą.

Pagrindinės savybės

Įrenginio LLM išvada: greiti, privatūs atsakymai be priklausomybės nuo debesies; pasirinkti modelius, atitinkančius jūsų įrenginį ir poreikius.
Retrieval-Augmented Generation (RAG): sujunkite modelio samprotavimus su indeksuotomis dokumentų dalimis ir įterpimais, kad gautumėte faktais pagrįstus atsakymus.
Nuolatinė visuotinė atmintis: išsaugokite faktus, dokumentus ir žinias nuolatinėje įrenginio vietinėje atmintyje (Patalpos DB), kad galėtumėte ilgai prisiminti per seansus.
Įterpimai ir vektorinė paieška: kurkite įterpimus, indeksuokite turinį vietoje ir gaukite svarbiausius dokumentus naudodami efektyvią panašumų paiešką.
Daugiarūšis palaikymas: naudokite teksto ir vaizdo modelius (Gemma-3n), kad galėtumėte geriau sąveikauti, jei įmanoma.
Žiniatinklio paieškos integravimas: papildykite vietines žinias naudodami „DuckDuckGo“ palaikomus žiniatinklio rezultatus, kad gautumėte naujausią informaciją apie RAG užklausas ir momentinius atsakymus.
Paruošta neprisijungus: dirbkite be prieigos prie tinklo – modeliai, atmintis ir indeksai išlieka įrenginyje.
GPU spartinimas (pasirenkama): pasinaudokite aparatinės įrangos spartinimo teikiamais pranašumais, jei jie palaikomi – norėdami gauti geriausius rezultatus su didesniais GPU palaikomais modeliais, rekomenduojame įrenginius su bent 8 GB RAM.
Privatumas – pirmiausia dizainas: pagal numatytuosius nustatymus atmintis, įterpimai ir RAG indeksai išlieka vietiniai; į debesį neįkeliama, nebent aiškiai pasirenkate bendrinti arba eksportuoti duomenis.
Ilgo konteksto tvarkymas: modelių su dideliais kontekstiniais langais palaikymas, kad padėjėjas galėtų svarstyti apie didelius dokumentus ir istorijas.
Patogus kūrėjams: integruojamas su vietinėmis išvadomis, indeksavimu ir nuskaitymu programoms, kurioms reikalinga privati, neprisijungus naudojama AI.
Kodėl verta rinktis LLM Hub? „LLM Hub“ sukurtas siekiant teikti privatų, tikslų ir lankstų AI mobiliuosiuose įrenginiuose. Jis sujungia vietinių išvadų greitį su faktiniu atgavimu pagrįstų sistemų įžeminimu ir nuolatinės atminties patogumu – idealiai tinka žinių darbuotojams, privatumą besirūpinantiems vartotojams ir kūrėjams, kuriantiems vietines AI funkcijas.

Palaikomi modeliai: Gemma-3, Gemma-3n (daugiarūšis), Llama-3.2, Phi-4 Mini – pasirinkite modelį, kuris atitinka jūsų įrenginio galimybes ir konteksto poreikius.

Kas naujo

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian