LLM Hub

timmy boy

关于此应用

LLM Hub 将生产级 AI 直接带到您的 Android 设备上——私密、快速且完全本地化。运行现代设备端 LLM（Gemma-3、Gemma-3n 多模态、Llama-3.2、Phi-4 Mini），它们具备大型上下文窗口、持久全局内存和检索增强生成 (RAG) 功能，可将答案基于存储在设备上的索引文档。您可以创建和存储文档和笔记的嵌入，在本地运行向量相似性搜索，并在需要实时信息时使用由 DuckDuckGo 提供支持的网络搜索来丰富响应。除非您明确导出，否则所有重要信息都会保留在您的手机上：本地内存、索引和嵌入可在提供高相关性和准确性的同时保护您的隐私。

主要功能

设备端 LLM 推理：快速、私密的响应，无需依赖云；选择与您的设备和需求相匹配的模型。
检索增强生成 (RAG)：将模型推理与索引文档块和嵌入相结合，生成基于事实的答案。
持久全局内存：将事实、文档和知识保存到持久的设备本地内存 (Room DB) 中，以便跨会话进行长期调用。
嵌入和向量搜索：生成嵌入、本地索引内容，并通过高效的相似性搜索检索最相关的文档。
多模态支持：使用支持文本 + 图像的模型 (Gemma-3n) 实现更丰富的交互（如有）。
网页搜索集成：使用 DuckDuckGo 支持的网页搜索结果补充本地知识，以获取 RAG 查询和即时答案的最新信息。
离线就绪：无需网络连接即可工作 - 模型、内存和索引持久保存在设备上。
GPU 加速（可选）：在支持硬件加速的情况下受益 - 为了获得更大规模 GPU 支持的模型的最佳效果，我们建议使用至少配备 8GB RAM 的设备。
隐私优先设计：内存、嵌入和 RAG 索引默认保留在本地；除非您明确选择共享或导出数据，否则不会上传到云端。
长上下文处理：支持具有大上下文窗口的模型，使助手能够对海量文档和历史记录进行推理。
开发者友好：集成本地推理、索引和检索用例，适用于需要私密离线 AI 的应用。
为什么选择 LLM Hub？LLM Hub 旨在在移动设备上提供私密、准确且灵活的 AI。它将本地推理的速度与基于检索的系统的事实基础以及持久内存的便利性融为一体，是知识型员工、注重隐私的用户以及构建本地优先 AI 功能的开发者的理想之选。

支持的型号：Gemma-3、Gemma-3n（多模态）、Llama-3.2、Phi-4 Mini——选择适合您设备功能和上下文需求的型号。

新变化

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian