LLM Hub

timmy boy

За апликацијава

LLM Hub ја носи вештачката интелигенција од производна класа директно на вашиот уред со Android - приватен, брз и целосно локален. Стартувај модерни LLM на уред (Gemma-3, Gemma-3n мултимодални, Llama-3.2, Phi-4 Mini) со големи контекстни прозорци, постојана глобална меморија и зголемена генерација на пронаоѓање (RAG) што ги заснова одговорите во индексирани документи складирани на уредот. Создавајте и складирајте вградувања за документи и белешки, извршете локално пребарување за векторска сличност и збогатете ги одговорите со веб-пребарување на DuckDuckGo кога ви требаат факти во живо. Сè што е важно останува на вашиот телефон освен ако експлицитно не го извезете: локалната меморија, индексите и вградувањата ја штитат вашата приватност притоа обезбедувајќи висока релевантност и прецизност.

Клучни карактеристики

Заклучок за LLM на уредот: брзи, приватни одговори без зависност од облакот; изберете модели што одговараат на вашиот уред и потреби.
Пронаоѓање-зголемена генерација (RAG): Комбинирајте го резонирањето на моделот со индексирани делови од документи и вградувања за да добиете одговори засновани на факти.
Постојана глобална меморија: зачувајте факти, документи и знаење во постојана локална меморија на уредот (Room DB) за долгорочно потсетување низ сесиите.
Вградувања и векторско пребарување: генерирајте вградувања, индексирајте ја содржината локално и вратете ги најрелевантните документи со ефикасно пребарување на сличност.
Мултимодална поддршка: користете модели способни за текст + слика (Gemma-3n) за побогати интеракции кога е достапно.
Интеграција на веб-пребарување: Дополнете го локалното знаење со веб-резултатите на DuckDuckGo за да добиете ажурирани информации за RAG прашања и инстант одговори.
Offline-Ready: Работете без пристап до мрежата - моделите, меморијата и индексите остануваат на уредот.
Забрзување на графичкиот процесор (опционално): искористете ги придобивките од хардверското забрзување онаму каде што е поддржано - за најдобри резултати со поголемите модели со графички процесор, препорачуваме уреди со најмалку 8 GB RAM.
Privacy-First Design: Меморијата, вградувањата и RAG индексите стандардно остануваат локални; нема поставување на облак, освен ако експлицитно не одберете да споделувате или извезувате податоци.
Ракување со долг контекст: Поддршка за модели со големи контекстни прозорци за да може асистентот да расудува за обемни документи и истории.
Погодно за програмери: Се интегрира со локални заклучоци, индексирање и преземање случаи на употреба за апликации кои бараат приватна, офлајн вештачка интелигенција.
Зошто да изберете LLM Hub? LLM Hub е изграден да испорачува приватна, точна и флексибилна вештачка интелигенција на мобилен телефон. Ја спојува брзината на локалното заклучување со фактичкото заземјување на системите засновани на пронаоѓање и практичноста на постојаната меморија - идеален за работници со знаење, корисници кои се свесни за приватноста и програмери кои градат функции на вештачка интелигенција на локално ниво.

Поддржани модели: Gemma-3, Gemma-3n (мултимодални), Llama-3.2, Phi-4 Mini — изберете го моделот што одговара на можностите на вашиот уред и потребите на контекстот.

Што има ново

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian