LLM Hub

timmy boy

Informacje o aplikacji

LLM Hub przenosi sztuczną inteligencję klasy produkcyjnej prosto na Twoje urządzenie z Androidem — prywatnie, szybko i w pełni lokalnie. Uruchamiaj nowoczesne modele językowe (LLM) bezpośrednio na urządzeniu (Gemma-3, Gemma-3n multimodalne, Llama-3.2, Phi-4 Mini) z dużymi oknami kontekstowymi, trwałą pamięcią globalną i generowaniem rozszerzonym o wyszukiwanie (RAG), które opiera odpowiedzi na zindeksowanych dokumentach przechowywanych lokalnie. Twórz i przechowuj embeddingi dla dokumentów i notatek, przeprowadzaj lokalnie wyszukiwanie podobieństwa wektorowego i wzbogacaj odpowiedzi o wyszukiwanie internetowe zasilane przez DuckDuckGo, gdy potrzebujesz aktualnych informacji. Wszystko, co ważne, pozostaje na Twoim telefonie, chyba że wyraźnie zdecydujesz się to wyeksportować: pamięć, indeksy i embeddingi przechowywane wyłącznie lokalnie chronią Twoją prywatność, zapewniając jednocześnie wysoką trafność i dokładność.

Kluczowe Funkcje

Lokalna inferencja LLM: Szybkie, prywatne odpowiedzi bez zależności od chmury; wybieraj modele dopasowane do Twojego urządzenia i potrzeb.
Generowanie Rozszerzone o Wyszukiwanie (RAG): Łącz rozumowanie modelu z zindeksowanymi fragmentami dokumentów i embeddingami, aby generować odpowiedzi oparte na faktach.
Trwała Pamięć Globalna: Zapisuj fakty, dokumenty i wiedzę w trwałej, lokalnej bazie danych (Room DB) dla długoterminowego dostępu między sesjami.
Embeddingi i Wyszukiwanie Wektorowe: Generuj embeddingi, indeksuj treści lokalnie i wyszukuj najbardziej trafne dokumenty dzięki efektywnemu wyszukiwaniu podobieństwa.
Obsługa Multimodalna: Korzystaj z modeli obsługujących tekst i obraz (Gemma-3n) dla bogatszych interakcji, gdy są dostępne.
Integracja z Wyszukiwaniem Internetowym: Uzupełniaj lokalną wiedzę o wyniki wyszukiwania internetowego z DuckDuckGo, aby pobierać aktualne informacje dla zapytań RAG i natychmiastowych odpowiedzi.
Gotowość Offline: Działa bez dostępu do sieci — modele, pamięć i indeksy są przechowywane na urządzeniu.
Akceleracja GPU (opcjonalnie): Korzystaj z akceleracji sprzętowej tam, gdzie jest obsługiwana — dla najlepszych wyników z większymi modelami wspieranymi przez GPU zalecamy urządzenia z co najmniej 8 GB pamięci RAM.
Projekt Zorientowany na Prywatność: Pamięć, embeddingi i indeksy RAG pozostają domyślnie lokalne; dane nie są przesyłane do chmury, chyba że wyraźnie zdecydujesz się je udostępnić lub wyeksportować.
Obsługa Długiego Kontekstu: Wsparcie dla modeli z dużymi oknami kontekstowymi, co pozwala asystentowi analizować obszerne dokumenty i historie rozmów.
Przyjazny dla Deweloperów: Integruje się z lokalnymi zastosowaniami inferencji, indeksowania i wyszukiwania dla aplikacji wymagających prywatnej sztucznej inteligencji działającej offline.
Dlaczego wybrać LLM Hub? LLM Hub został stworzony, aby dostarczać prywatną, dokładną i elastyczną sztuczną inteligencję na urządzenia mobilne. Łączy szybkość lokalnej inferencji z opieraniem się na faktach systemów opartych na wyszukiwaniu i wygodą trwałej pamięci — idealne dla pracowników wiedzy, użytkowników dbających o prywatność i deweloperów tworzących funkcje AI z priorytetem lokalności.

Obsługiwane Modele: Gemma-3, Gemma-3n (multimodalne), Llama-3.2, Phi-4 Mini — wybierz model, który najlepiej pasuje do możliwości Twojego urządzenia i potrzeb kontekstowych.

Co nowego

- Okno kontekstu Phi-4 Mini Max zwiększone do 4096 i włączono backend GPU
- Konfiguracja ładowania modeli zapamiętuje teraz twoje ostatnie ustawienia
- Dodano tłumaczenie na język włoski