LLM Hub

timmy boy

Описание

LLM Hub переносит AI производственного уровня прямо на ваше Android-устройство — приватно, быстро и полностью локально. Запускайте современные локальные LLM (Gemma-3, Gemma-3n мультимодальный, Llama-3.2, Phi-4 Mini) с большими контекстными окнами, постоянной глобальной памятью и генерацией с дополненным поиском (RAG), которая основывает ответы на индексированных документах, хранящихся на устройстве. Создавайте и сохраняйте эмбеддинги для документов и заметок, выполняйте локальный поиск векторного сходства и обогащайте ответы веб-поиском через DuckDuckGo, когда вам нужны актуальные факты. Все важное остается на вашем телефоне, если вы сами не решите это экспортировать: локальная память, индексы и эмбеддинги защищают вашу конфиденциальность, обеспечивая при этом высокую релевантность и точность.

Ключевые возможности

Локальный вывод LLM: Быстрые, приватные ответы без зависимости от облака; выбирайте модели, подходящие вашему устройству и задачам.
Генерация с дополненным поиском (RAG): Объединяйте логику модели с индексированными фрагментами документов и эмбеддингами для получения ответов, основанных на фактах.
Постоянная глобальная память: Сохраняйте факты, документы и знания в постоянную локальную память устройства (Room DB) для долгосрочного доступа между сессиями.
Эмбеддинги и векторный поиск: Генерируйте эмбеддинги, индексируйте контент локально и находите наиболее релевантные документы с помощью эффективного поиска сходства.
Мультимодальная поддержка: Используйте модели, работающие с текстом и изображениями (Gemma-3n), для более насыщенного взаимодействия, если доступно.
Интеграция с веб-поиском: Дополняйте локальные знания результатами веб-поиска через DuckDuckGo для получения актуальной информации по RAG-запросам и мгновенных ответов.
Работа в автономном режиме: Работайте без подключения к сети — модели, память и индексы сохраняются на устройстве.
Ускорение GPU (опционально): Используйте аппаратное ускорение там, где оно поддерживается — для лучших результатов с более крупными моделями, использующими GPU, рекомендуем устройства с ОЗУ не менее 8 ГБ.
Приватность по умолчанию: Память, эмбеддинги и RAG-индексы по умолчанию остаются локальными; данные не загружаются в облако, если вы сами не решите ими поделиться или экспортировать.
Обработка длинного контекста: Поддержка моделей с большими контекстными окнами, позволяющая помощнику анализировать обширные документы и истории диалогов.
Удобство для разработчиков: Интегрируется с локальным выводом, индексированием и поиском для приложений, которым нужен приватный, автономный AI.
Почему стоит выбрать LLM Hub? LLM Hub создан для предоставления приватного, точного и гибкого AI на мобильных устройствах. Он сочетает скорость локального вывода с фактическим обоснованием систем на основе поиска и удобством постоянной памяти — идеальное решение для специалистов, работающих с информацией, пользователей, ценящих приватность, и разработчиков, создающих локальные AI-функции.

Поддерживаемые модели: Gemma-3, Gemma-3n (мультимодальный), Llama-3.2, Phi-4 Mini — выберите модель, соответствующую возможностям вашего устройства и потребностям в контексте.

Новое в приложении

- Окно контекста Phi-4 Mini Max увеличено до 4096 и включена поддержка GPU-бэкенда
- Конфигурация загрузки моделей теперь запоминает ваши последние настройки
- Добавлен перевод на итальянский язык