LLM Hub

timmy boy

關於這個應用程式

LLM Hub 將生產級 AI 直接帶到您的 Android 裝置上—私密、快速且完全在地化。運行現代設備端 LLM（Gemma-3、Gemma-3n 多模態、Llama-3.2、Phi-4 Mini），它們具備大型上下文視窗、持久全域記憶體和檢索增強生成 (RAG) 功能，可將答案基於儲存在裝置上的索引文件。您可以建立和儲存文件和筆記的嵌入，在本地運行向量相似性搜索，並在需要即時資訊時使用 DuckDuckGo 提供支援的網路搜尋來豐富回應。除非您明確匯出，否則所有重要資訊都會保留在您的手機上：本地內存、索引和嵌入可在提供高相關性和準確性的同時保護您的隱私。

主要功能

裝置端 LLM 推理：快速、私密的回應，無需依賴雲端；選擇與您的裝置和需求相符的模型。
檢索增強產生 (RAG)：將模型推理與索引文件區塊和嵌入結合，產生基於事實的答案。
持久全域記憶體：將事實、文件和知識保存到持久的裝置本機記憶體 (Room DB) 中，以便跨會話進行長期呼叫。
嵌入和向量搜尋：產生嵌入、本地索引內容，並透過高效的相似性搜尋檢索最相關的文件。
多模態支援：使用支援文字 + 圖像的模型 (Gemma-3n) 來實現更豐富的交互作用（如有）。
網頁搜尋整合：使用 DuckDuckGo 支援的網頁搜尋結果補充本地知識，以獲取 RAG 查詢和即時答案的最新資訊。
離線就緒：無需網路連線即可運作 - 模型、記憶體和索引持久保存在裝置上。
GPU 加速（可選）：在支援硬體加速的情況下受益 - 為了獲得更大規模 GPU 支援的模型的最佳效果，我們建議使用至少配備 8GB RAM 的裝置。
隱私優先設計：記憶體、嵌入和 RAG 索引預設保留在本地；除非您明確選擇共享或匯出數據，否則不會上傳到雲端。
長上下文處理：支援具有大上下文視窗的模型，使助手能夠對海量文件和歷史記錄進行推理。
開發者友善：整合本地推理、索引和檢索用例，適用於需要私密離線 AI 的應用。
為什麼選擇 LLM Hub？ LLM Hub 旨在在行動裝置上提供私密、準確且靈活的 AI。它將本地推理的速度與基於檢索的系統的事實基礎以及持久內存的便利性融為一體，是知識型員工、注重隱私的用戶以及構建本地優先 AI 功能的開發者的理想之選。

支援的型號：Gemma-3、Gemma-3n（多模態）、Llama-3.2、Phi-4 Mini——選擇適合您設備功能和上下文需求的型號。

新功能

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian