LLM Hub

timmy boy

Пра гэту праграму

LLM Hub пераносіць штучны інтэлект вытворчага ўзроўню прама на вашу прыладу Android — прыватны, хуткі і цалкам лакальны. Запускайце сучасныя LLM на прыладзе (Gemma-3, Gemma-3n мультымадальны, Llama-3.2, Phi-4 Mini) з вялікімі кантэкстнымі вокнамі, пастаяннай глабальнай памяццю і пошукава-дапоўненай генерацыяй (RAG), якая грунтуецца на адказах у індэксаваных дакументах, якія захоўваюцца на прыладзе. Стварайце і захоўвайце ўбудаваныя дакументы і нататкі, запускайце лакальны пошук падабенства вектараў і ўзбагачайце адказы з дапамогай вэб-пошуку на базе DuckDuckGo, калі вам патрэбны жывыя факты. Усё важнае застаецца на вашым тэлефоне, калі вы яго відавочна не экспартуеце: толькі лакальная памяць, індэксы і ўбудовы абараняюць вашу канфідэнцыяльнасць, забяспечваючы высокую рэлевантнасць і дакладнасць.

Асноўныя характарыстыкі

Вывад LLM на прыладзе: хуткія прыватныя адказы без залежнасці ад воблака; выбірайце мадэлі, якія адпавядаюць вашаму прыладзе і патрэбам.
Retrieval-Augmented Generation (RAG): аб'яднайце мадэльныя разважанні з праіндэксаванымі фрагментамі дакументаў і ўбудаваннямі для атрымання адказаў, абгрунтаваных фактамі.
Пастаянная глабальная памяць: захавайце факты, дакументы і веды ў пастаянную лакальную памяць прылады (пакаёвая БД) для доўгатэрміновага выкарыстання падчас сеансаў.
Убудовы і вектарны пошук: стварайце ўбудовы, лакальна індэксуйце кантэнт і атрымлівайце найбольш адпаведныя дакументы з дапамогай эфектыўнага пошуку па падабенству.
Мультымадальная падтрымка: выкарыстоўвайце мадэлі з падтрымкай тэксту і выявы (Gemma-3n) для больш багатых узаемадзеянняў, калі такія маюцца.
Інтэграцыя вэб-пошуку: дапоўніце мясцовыя веды вэб-вынікамі на базе DuckDuckGo, каб атрымаць актуальную інфармацыю для запытаў RAG і імгненных адказаў.
Гатоўнасць да аўтаномнага рэжыму: праца без доступу да сеткі — мадэлі, памяць і індэксы захоўваюцца на прыладзе.
Паскарэнне графічнага працэсара (дадаткова): скарыстайцеся апаратным паскарэннем там, дзе яно падтрымліваецца — для дасягнення найлепшых вынікаў з вялікімі мадэлямі з падтрымкай графічнага працэсара мы рэкамендуем прылады як мінімум з 8 ГБ аператыўнай памяці.
Дызайн з увагай да канфідэнцыяльнасці: памяць, убудаваныя індэксы RAG па змаўчанні застаюцца лакальнымі; няма загрузкі ў воблака, калі вы відавочна не вырашыце падзяліцца або экспартаваць дадзеныя.
Апрацоўка доўгага кантэксту: падтрымка мадэляў з вялікімі кантэкстнымі вокнамі, каб памочнік мог разважаць над вялікімі дакументамі і гісторыямі.
Зручны для распрацоўшчыкаў: інтэгруецца з лакальнымі варыянтамі вываду, індэксацыі і пошуку для праграм, якія патрабуюць прыватнага аўтаномнага штучнага інтэлекту.
Чаму выбіраюць LLM Hub? LLM Hub створаны для забеспячэння прыватнага, дакладнага і гнуткага штучнага інтэлекту на мабільным тэлефоне. Ён аб'ядноўвае хуткасць лакальнага вываду з фактычным абгрунтаваннем сістэм, заснаваных на пошуку, і зручнасцю пастаяннай памяці — ідэальна падыходзіць для інтэлігентных работнікаў, карыстальнікаў, якія клапоцяцца аб канфідэнцыяльнасці, і распрацоўшчыкаў, якія ствараюць лакальныя асаблівасці штучнага інтэлекту.

Падтрымліваюцца мадэлі: Gemma-3, Gemma-3n (мультымадальны), Llama-3.2, Phi-4 Mini — выбірайце мадэль, якая адпавядае магчымасцям вашай прылады і патрэбам кантэксту.

Што новага

- Upgraded Phi-4 Mini Max context window to 4096 and enabled GPU backend
- Model loading configuration now remembers your last settings
- Added translation support for Italian