LLM Hub

timmy boy

Про цей додаток

LLM Hub переносить AI професійного рівня прямо на ваш Android-пристрій — приватно, швидко та повністю локально. Запускайте сучасні локальні великі мовні моделі (LLM), такі як Gemma-3, мультимодальна Gemma-3n, Llama-3.2, Phi-4 Mini, з великими контекстними вікнами, постійною глобальною пам'яттю та генерацією з доповненням пошуку (RAG), що базує відповіді на індексованих документах, які зберігаються на пристрої. Створюйте та зберігайте векторні представлення (ембединги) для документів і нотаток, виконуйте локальний пошук векторної схожості та збагачуйте відповіді веб-пошуком від DuckDuckGo, коли потрібні актуальні факти. Уся важлива інформація залишається на вашому телефоні, якщо ви явно не експортуєте її: локальна пам'ять, індекси та ембединги захищають вашу конфіденційність, забезпечуючи при цьому високу релевантність і точність.

Ключові можливості

Локальне виконання LLM: Швидкі, приватні відповіді без залежності від хмари; обирайте моделі, що відповідають вашому пристрою та потребам.
Генерація з доповненням пошуку (RAG): Поєднуйте логіку моделі з індексованими фрагментами документів та ембедингами для отримання відповідей, що базуються на фактах.
Постійна глобальна пам'ять: Зберігайте факти, документи та знання в постійній локальній базі даних пристрою (Room DB) для довготривалого доступу між сесіями.
Ембединги та векторний пошук: Генеруйте ембединги, індексуйте вміст локально та знаходьте найрелевантніші документи за допомогою ефективного пошуку схожості.
Мультимодальна підтримка: Використовуйте моделі, що працюють з текстом та зображеннями (Gemma-3n), для більш насиченої взаємодії, якщо вони доступні.
Інтеграція веб-пошуку: Доповнюйте локальні знання результатами веб-пошуку від DuckDuckGo для отримання актуальної інформації для RAG-запитів та миттєвих відповідей.
Готовність до офлайн-роботи: Працюйте без доступу до мережі — моделі, пам'ять та індекси зберігаються на пристрої.
Прискорення GPU (опціонально): Використовуйте апаратне прискорення там, де воно підтримується — для найкращих результатів з більшими моделями, що використовують GPU, рекомендуємо пристрої з щонайменше 8 ГБ оперативної пам'яті.
Дизайн, орієнтований на конфіденційність: Пам'ять, ембединги та RAG-індекси за замовчуванням залишаються локальними; дані не завантажуються в хмару, якщо ви явно не вирішите їх надати чи експортувати.
Обробка довгого контексту: Підтримка моделей з великими контекстними вікнами, що дозволяє асистенту аналізувати великі документи та історії бесід.
Зручно для розробників: Інтегрується з локальним виконанням, індексуванням та пошуком для додатків, що потребують приватного, офлайн-AI.
Чому варто обрати LLM Hub? LLM Hub створений для надання приватного, точного та гнучкого AI на мобільних пристроях. Він поєднує швидкість локального виконання з фактичним обґрунтуванням на основі пошуку та зручністю постійної пам'яті — ідеально підходить для фахівців, які працюють з інформацією, користувачів, що дбають про конфіденційність, та розробників, які створюють локальні AI-функції.

Підтримувані моделі: Gemma-3, Gemma-3n (мультимодальна), Llama-3.2, Phi-4 Mini — оберіть модель, яка відповідає можливостям вашого пристрою та потребам контексту.

Що нового

- Вікно контексту Phi-4 Mini Max розширено до 4096 і увімкнено GPU-бекенд
- Конфігурація завантаження моделей тепер запам’ятовує ваші останні налаштування
- Додано переклад італійською мовою