LLM Hub

timmy boy

앱 정보

LLM 허브는 프로덕션 수준의 AI를 Android 기기에서 바로 사용할 수 있도록 지원합니다. 개인 정보가 보호되고 빠르며 완전히 로컬로 작동합니다. 대규모 컨텍스트 창, 영구적인 전역 메모리, 그리고 기기에 저장된 색인화된 문서를 기반으로 답변을 생성하는 검색 증강 생성 (RAG) 기능을 통해 최신 온디바이스 LLM (Gemma-3, Gemma-3n 멀티모달, Llama-3.2, Phi-4 Mini)을 실행할 수 있습니다. 문서와 메모리에 대한 임베딩을 생성하고 저장하며, 로컬에서 벡터 유사성 검색을 실행하고, 실시간 정보가 필요할 때는 DuckDuckGo 기반 웹 검색으로 응답을 보강할 수 있습니다. 명시적으로 내보내지 않는 한 중요한 모든 정보는 휴대폰에 안전하게 보관됩니다. 로컬 전용 메모리, 색인, 임베딩은 높은 관련성과 정확성을 제공하면서 개인 정보를 보호합니다.

주요 기능

온디바이스 LLM 추론: 클라우드에 의존하지 않고 빠르고 개인적인 응답을 제공하며, 기기와 필요에 맞는 모델을 선택할 수 있습니다.
검색 증강 생성 (RAG): 모델의 추론 능력과 색인화된 문서 조각 및 임베딩을 결합하여 사실에 기반한 답변을 생성합니다.
영구적인 전역 메모리: 사실, 문서, 지식을 기기의 로컬 메모리 (Room DB)에 영구적으로 저장하여 세션 간에 장기적으로 기억할 수 있습니다.
임베딩 및 벡터 검색: 임베딩을 생성하고 콘텐츠를 로컬에서 색인화하며, 효율적인 유사성 검색을 통해 가장 관련성 높은 문서를 검색합니다.
멀티모달 지원: 사용 가능한 경우 텍스트와 이미지를 모두 처리할 수 있는 모델 (Gemma-3n)을 사용하여 더욱 풍부한 상호 작용을 할 수 있습니다.
웹 검색 통합: DuckDuckGo 기반 웹 검색 결과를 활용하여 로컬 지식을 보완하고 RAG 쿼리 및 즉각적인 답변에 필요한 최신 정보를 가져옵니다.
오프라인 지원: 네트워크 연결 없이도 작동하며, 모델, 메모리, 색인은 기기에 유지됩니다.
GPU 가속 (선택 사항): 지원되는 경우 하드웨어 가속의 이점을 누릴 수 있습니다. 더 큰 GPU 지원 모델에서 최상의 결과를 얻으려면 최소 8GB RAM이 있는 기기를 권장합니다.
개인 정보 보호 우선 설계: 메모리, 임베딩, RAG 색인은 기본적으로 로컬에 유지됩니다. 데이터를 명시적으로 공유하거나 내보내기로 선택하지 않는 한 클라우드에 업로드되지 않습니다.
긴 컨텍스트 처리: 대규모 컨텍스트 창을 가진 모델을 지원하여 어시스턴트가 방대한 문서와 대화 기록을 기반으로 추론할 수 있습니다.
개발자 친화적: 개인 정보 보호 및 오프라인 AI가 필요한 앱의 로컬 추론, 색인화, 검색 사용 사례와 통합됩니다.
LLM 허브를 선택해야 하는 이유: LLM 허브는 모바일에서 개인 정보가 보호되고 정확하며 유연한 AI를 제공하도록 설계되었습니다. 로컬 추론의 속도와 검색 기반 시스템의 사실 기반 능력, 그리고 영구 메모리의 편리함을 결합하여 지식 근로자, 개인 정보 보호에 민감한 사용자, 그리고 로컬 우선 AI 기능을 구축하는 개발자에게 이상적입니다.

지원 모델: Gemma-3, Gemma-3n (멀티모달), Llama-3.2, Phi-4 Mini — 기기 성능과 컨텍스트 요구 사항에 맞는 모델을 선택하세요.

새로운 기능

- Phi-4 Mini Max 컨텍스트 윈도우가 4096으로 업그레이드되고 GPU 백엔드 지원 추가
- 모델 로딩 설정이 마지막 설정을 기억하도록 개선
- 이탈리아어 번역 추가