LLM Hub

timmy boy

Всичко за това приложение

LLM Hub предоставя AI от производствен клас направо на вашето устройство с Android — частно, бързо и напълно локално. Изпълнявайте модерни LLM на устройството (Gemma-3, Gemma-3n multimodal, Llama-3.2, Phi-4 Mini) с големи контекстни прозорци, постоянна глобална памет и генериране с разширено извличане (RAG), което основава отговорите в индексирани документи, съхранявани на устройството. Създавайте и съхранявайте вграждания за документи и бележки, стартирайте локално търсене по сходство на вектори и обогатете отговорите с поддържано от DuckDuckGo уеб търсене, когато имате нужда от живи факти. Всичко важно остава на телефона ви, освен ако изрично не го експортирате: само локална памет, индекси и вграждания защитават вашата поверителност, като същевременно осигуряват висока уместност и точност.

Ключови характеристики

Извод за LLM на устройството: Бързи, лични отговори без зависимост от облака; изберете модели, които отговарят на вашето устройство и нужди.
Генериране с допълнено извличане (RAG): Комбинирайте разсъжденията на модела с индексирани части от документи и вграждания, за да произведете основани на факти отговори.
Постоянна глобална памет: Запазвайте факти, документи и знания в постоянна, локална памет на устройството (Room DB) за дългосрочно извикване през сесиите.
Вграждания и векторно търсене: Генерирайте вграждания, индексирайте съдържание локално и извличайте най-подходящите документи с ефективно търсене по подобие.
Мултимодална поддръжка: Използвайте модели с възможност за текст + изображение (Gemma-3n) за по-богати взаимодействия, когато са налични.
Интегриране на уеб търсене: Допълнете местните познания с уеб резултати, поддържани от DuckDuckGo, за да извлечете актуална информация за RAG заявки и незабавни отговори.
Готовност за офлайн работа: Работете без достъп до мрежата — моделите, паметта и индексите продължават да съществуват на устройството.
GPU ускорение (по избор): Възползвайте се от хардуерното ускорение, където се поддържа - за най-добри резултати с по-големи GPU поддържани модели препоръчваме устройства с поне 8GB RAM.
Privacy-First Design: Паметта, вгражданията и RAG индексите остават локални по подразбиране; няма качване в облак, освен ако изрично не изберете да споделяте или експортирате данни.
Обработка на дълъг контекст: Поддръжка за модели с големи контекстни прозорци, така че асистентът да може да разсъждава върху обширни документи и хронологии.
Удобен за разработчици: Интегрира се с локални случаи на използване на изводи, индексиране и извличане за приложения, изискващи частен, офлайн AI.
Защо да изберете LLM Hub? LLM Hub е създаден да предоставя частен, точен и гъвкав AI на мобилни устройства. Той обединява скоростта на локалните изводи с фактическата основа на системите, базирани на извличане, и удобството на постоянната памет — идеално за работещи в сферата на знанията, потребители, съзнателни за поверителността, и разработчици, изграждащи локални функции на AI.

Поддържани модели: Gemma-3, Gemma-3n (мултимодален), Llama-3.2, Phi-4 Mini — изберете модела, който отговаря на възможностите на вашето устройство и контекстните нужди.

Новите неща

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian