LLM Hub

timmy boy

Thông tin về ứng dụng này

LLM Hub mang sức mạnh AI cấp độ sản xuất trực tiếp đến thiết bị Android của bạn — đảm bảo tính riêng tư, tốc độ và hoạt động hoàn toàn cục bộ. Chạy các mô hình ngôn ngữ lớn (LLM) hiện đại ngay trên thiết bị (Gemma-3, Gemma-3n đa phương thức, Llama-3.2, Phi-4 Mini) với khả năng xử lý ngữ cảnh rộng, bộ nhớ toàn cầu bền vững và tính năng tạo tăng cường truy xuất (RAG) giúp đưa ra câu trả lời dựa trên các tài liệu đã được lập chỉ mục lưu trữ trên thiết bị. Bạn có thể tạo và lưu trữ các vector nhúng cho tài liệu và ghi chú, thực hiện tìm kiếm tương đồng vector ngay trên máy, và làm phong phú thêm câu trả lời bằng cách tìm kiếm web qua DuckDuckGo khi cần thông tin cập nhật. Mọi dữ liệu quan trọng đều được giữ lại trên điện thoại của bạn trừ khi bạn chủ động xuất ra: bộ nhớ, chỉ mục và vector nhúng chỉ hoạt động cục bộ, bảo vệ quyền riêng tư của bạn đồng thời mang lại kết quả có độ liên quan và chính xác cao.

Các tính năng nổi bật

Suy luận LLM trên thiết bị: Phản hồi nhanh chóng, riêng tư mà không phụ thuộc vào đám mây; dễ dàng chọn mô hình phù hợp với thiết bị và nhu cầu của bạn.
Tạo tăng cường truy xuất (RAG): Kết hợp khả năng suy luận của mô hình với các đoạn tài liệu và vector nhúng đã được lập chỉ mục để đưa ra câu trả lời dựa trên dữ liệu thực tế.
Bộ nhớ toàn cầu bền vững: Lưu trữ thông tin, tài liệu và kiến thức vào bộ nhớ cục bộ, bền vững trên thiết bị (Room DB) để dễ dàng truy xuất lại trong các phiên làm việc khác nhau.
Vector nhúng & Tìm kiếm vector: Tạo vector nhúng, lập chỉ mục nội dung ngay trên thiết bị và tìm kiếm các tài liệu liên quan nhất một cách hiệu quả thông qua tìm kiếm tương đồng.
Hỗ trợ đa phương thức: Sử dụng các mô hình có khả năng xử lý cả văn bản và hình ảnh (Gemma-3n) để tương tác phong phú hơn (khi có sẵn).
Tích hợp tìm kiếm web: Bổ sung kiến thức cục bộ bằng kết quả tìm kiếm web từ DuckDuckGo để lấy thông tin mới nhất cho các truy vấn RAG và câu trả lời tức thời.
Hoạt động ngoại tuyến: Sử dụng ứng dụng mà không cần kết nối mạng — các mô hình, bộ nhớ và chỉ mục đều được lưu trữ trên thiết bị.
Tăng tốc GPU (tùy chọn): Tận dụng khả năng tăng tốc phần cứng (nếu được hỗ trợ) — để đạt hiệu quả tốt nhất với các mô hình lớn hơn cần hỗ trợ GPU, chúng tôi khuyến nghị sử dụng thiết bị có ít nhất 8GB RAM.
Thiết kế ưu tiên quyền riêng tư: Bộ nhớ, vector nhúng và chỉ mục RAG mặc định được giữ lại cục bộ; dữ liệu không được tải lên đám mây trừ khi bạn chủ động chọn chia sẻ hoặc xuất.
Xử lý ngữ cảnh dài: Hỗ trợ các mô hình có khả năng xử lý ngữ cảnh rộng, cho phép trợ lý suy luận dựa trên các tài liệu và lịch sử hội thoại dài.
Thân thiện với nhà phát triển: Dễ dàng tích hợp các trường hợp sử dụng suy luận, lập chỉ mục và truy xuất cục bộ cho các ứng dụng cần AI riêng tư, hoạt động ngoại tuyến.
Tại sao nên chọn LLM Hub? LLM Hub được xây dựng để mang đến trải nghiệm AI riêng tư, chính xác và linh hoạt trên thiết bị di động. Ứng dụng kết hợp tốc độ xử lý cục bộ với khả năng đưa ra thông tin dựa trên dữ liệu thực tế của hệ thống truy xuất và sự tiện lợi của bộ nhớ bền vững — lý tưởng cho những người làm việc tri thức, người dùng quan tâm đến quyền riêng tư và các nhà phát triển xây dựng tính năng AI ưu tiên hoạt động cục bộ.

Các mô hình được hỗ trợ: Gemma-3, Gemma-3n (đa phương thức), Llama-3.2, Phi-4 Mini — hãy chọn mô hình phù hợp với khả năng thiết bị và nhu cầu xử lý ngữ cảnh của bạn.

Tính năng mới

- Cửa sổ ngữ cảnh Phi-4 Mini Max được nâng cấp lên 4096 và bật backend GPU
- Cấu hình tải mô hình giờ ghi nhớ cài đặt cuối cùng của bạn
- Đã thêm bản dịch tiếng Ý