OpenWeights: Edge Inference
13+
info
1+
Ներբեռնումներ
Հավելվածի մասին
OpenWeights-ը բաց կշռի լեզվի մոդելներ է գործարկում անմիջապես ձեր հեռախոսի վրա: Հաշիվ ստեղծելու կարիք չկա, սերվերի հետ խոսելու կարիք չկա, և ձեր մասին ոչինչ չի չափվում:
Հավելվածի ներսում որոնեք Hugging Face-ը, նախքան այն ներբեռնելը պարզեք, թե արդյոք մոդելը իրականում կաշխատի ձեր սարքի վրա, և զրուցեք դրա հետ: Յուրաքանչյուր թոքեն ստեղծվում է ձեր սեփական սարքավորման կողմից:
ՑԱՆԿԱՑԱԾ ՄՈԴԵԼ, ՈՉ ԹԵ ԿԱՏԱԼՈԳ
Սարքի վրա գտնվող այլ հավելվածները ձեզ տրամադրում են ինչ-որ մեկի կողմից ընտրված կարճ ցուցակ: OpenWeights-ը ձեզ տրամադրում է Hub-ը: Եթե ինչ-որ մեկը մեկ ժամ առաջ հրապարակել է GGUF, դուք կարող եք այն գործարկել:
ԱՆԿԵՂԾ ՁԵՐ ՍԱՐՔԻ ՄԱՍԻՆ
Նախքան գիգաբայթեր ծախսելը, հավելվածը կարդում է մոդելի վերնագիրը ցանցում և ասում է ձեզ, թե ինչ է այն պահանջում ձեր ընտրած համատեքստի երկարության դեպքում, մոտավորապես որքան արագ կլինի այն, և արդյոք այն ընդհանրապես կաշխատի ձեր հեռախոսի վրա:
ԻՐԱԿԱՆ ԹՎԵՐ՝ ՁԵՐ ԱՌՋԵՎ
Թոքեններ վայրկյանում, առաջին թոքենի ժամանակը և համատեքստի պատուհանի լցվածությունը, ցուցադրվում են զրուցելիս, այլ ոչ թե թաքնված:
ՁԵՐԸ ԿԱՐԳԱՎՈՐԵՆ
Ջերմաստիճանը, վերին p-ն, վերին k-ն, կրկնության տույժը, համատեքստի տևողությունը, համակարգի հուշումը և մոդելին իր գործիքների մասին ասվածը, բոլորը պահվում են յուրաքանչյուր մոդելի համար: Այն դեպքում, երբ մոդելը կարող է մտածել նախքան պատասխանելը, դա նույնպես անջատիչ է, իսկ աշխատող GPU-ով հեռախոսում դուք կարող եք ասել, թե որ պրոցեսորն է պահում շերտերը:
ԱՎԵԼԻՆ, ՔԱՆ ՏԵՔՍՏ
Պատկերներ և աուդիո այն մոդելների համար, որոնք իրենց համար պրոյեկտոր են ուղարկում, փաստաթղթեր, որոնք ցանկացած մոդել կարող է կարդալ, թելադրանք ձեր հեռախոսի սեփական սարքի ճանաչողի միջոցով և բարձրաձայն ընթերցում:
ՕԳՆԱԿԱՆ, ՈՐ ԿԱՐՈՂ Է ԳՈՐԾԵԼ
Մոդելը կարող է որոնել համացանցում, կարդալ էջը և աշխատել ձեր ընտրած թղթապանակի հետ, որը կիսվելու համար: Դուք եք որոշում, թե որքան պարան կստանա այն. հաստատեք յուրաքանչյուր քայլը, թողեք այն աշխատի, կամ խնդրեք այն նախ պլանավորել և ասել, թե ինչ կանի, նախքան որևէ բան տեղի ունենա: Այն կարող է ձեզ պարզաբանող հարց տալ և հետևել ստուգաթերթիկին, որը կարող եք ինքներդ նշել: Յուրաքանչյուր գործիք կարող է անջատվել:
ՄԱՍՆԱՎՈՐ ԿԱՌՈՒՑՄԱՆ ՀԱՄԱՐ
Ձեր զրույցները, ձեր մոդելները և ձեր օգտագործումը մնում են սարքում: Չկա վերլուծական SDK, խափանումների մասին հաղորդող և մեր ներքին համակարգը։ Ավտոմատ պահուստավորումը և սարքի փոխանցումը անջատված են, ուստի նոր հեռախոսը չի ժառանգում ձեր զրույցները։ Ապատեղադրումը հեռացնում է ամեն ինչ։
Ինտերնետ է հասնում երկու գործիքի, քանի որ դրանք պետք է անեն դա՝ վեբ որոնումը և էջի բեռնումը։ Երկուսն էլ թվարկված են վերնագրի տակ, որտեղ ասվում է, որ դրանք լքում են սարքը, երկուսն էլ կարող են անջատվել, և յուրաքանչյուր զանգ, որը կատարվում է, պատասխանում տող է, որը նշում է դրա անունը և այն, ինչ այն տրվել է։ Ձեր Hugging Face տոկենը, եթե դուք սահմանել եք, կոդավորված է Android Keystore-ում պահվող բանալիով և ուղարկվում է միայն Hugging Face-ին։
ԻՆՉ Է ՁԵԶ ԱՆՀՐԱԺԵՇՏ
Android 12 կամ ավելի նոր տարբերակ, 64-բիթ ARM սարք և բավարար հիշողություն ձեր ընտրած մոդելի համար։ Հավելվածը ձեզ կասի ներբեռնումից առաջ։
Մոդելները գալիս են երրորդ կողմերից։ Դուք եք ընտրում, թե որ մեկը գործարկել, և այն, ինչ ասվում է, դրա հրատարակչի աշխատանքն է, այլ ոչ թե մերը։ Բաց կոդով՝ github.com/alpharomercoma/openweights կայքում։
Հավելվածի ներսում որոնեք Hugging Face-ը, նախքան այն ներբեռնելը պարզեք, թե արդյոք մոդելը իրականում կաշխատի ձեր սարքի վրա, և զրուցեք դրա հետ: Յուրաքանչյուր թոքեն ստեղծվում է ձեր սեփական սարքավորման կողմից:
ՑԱՆԿԱՑԱԾ ՄՈԴԵԼ, ՈՉ ԹԵ ԿԱՏԱԼՈԳ
Սարքի վրա գտնվող այլ հավելվածները ձեզ տրամադրում են ինչ-որ մեկի կողմից ընտրված կարճ ցուցակ: OpenWeights-ը ձեզ տրամադրում է Hub-ը: Եթե ինչ-որ մեկը մեկ ժամ առաջ հրապարակել է GGUF, դուք կարող եք այն գործարկել:
ԱՆԿԵՂԾ ՁԵՐ ՍԱՐՔԻ ՄԱՍԻՆ
Նախքան գիգաբայթեր ծախսելը, հավելվածը կարդում է մոդելի վերնագիրը ցանցում և ասում է ձեզ, թե ինչ է այն պահանջում ձեր ընտրած համատեքստի երկարության դեպքում, մոտավորապես որքան արագ կլինի այն, և արդյոք այն ընդհանրապես կաշխատի ձեր հեռախոսի վրա:
ԻՐԱԿԱՆ ԹՎԵՐ՝ ՁԵՐ ԱՌՋԵՎ
Թոքեններ վայրկյանում, առաջին թոքենի ժամանակը և համատեքստի պատուհանի լցվածությունը, ցուցադրվում են զրուցելիս, այլ ոչ թե թաքնված:
ՁԵՐԸ ԿԱՐԳԱՎՈՐԵՆ
Ջերմաստիճանը, վերին p-ն, վերին k-ն, կրկնության տույժը, համատեքստի տևողությունը, համակարգի հուշումը և մոդելին իր գործիքների մասին ասվածը, բոլորը պահվում են յուրաքանչյուր մոդելի համար: Այն դեպքում, երբ մոդելը կարող է մտածել նախքան պատասխանելը, դա նույնպես անջատիչ է, իսկ աշխատող GPU-ով հեռախոսում դուք կարող եք ասել, թե որ պրոցեսորն է պահում շերտերը:
ԱՎԵԼԻՆ, ՔԱՆ ՏԵՔՍՏ
Պատկերներ և աուդիո այն մոդելների համար, որոնք իրենց համար պրոյեկտոր են ուղարկում, փաստաթղթեր, որոնք ցանկացած մոդել կարող է կարդալ, թելադրանք ձեր հեռախոսի սեփական սարքի ճանաչողի միջոցով և բարձրաձայն ընթերցում:
ՕԳՆԱԿԱՆ, ՈՐ ԿԱՐՈՂ Է ԳՈՐԾԵԼ
Մոդելը կարող է որոնել համացանցում, կարդալ էջը և աշխատել ձեր ընտրած թղթապանակի հետ, որը կիսվելու համար: Դուք եք որոշում, թե որքան պարան կստանա այն. հաստատեք յուրաքանչյուր քայլը, թողեք այն աշխատի, կամ խնդրեք այն նախ պլանավորել և ասել, թե ինչ կանի, նախքան որևէ բան տեղի ունենա: Այն կարող է ձեզ պարզաբանող հարց տալ և հետևել ստուգաթերթիկին, որը կարող եք ինքներդ նշել: Յուրաքանչյուր գործիք կարող է անջատվել:
ՄԱՍՆԱՎՈՐ ԿԱՌՈՒՑՄԱՆ ՀԱՄԱՐ
Ձեր զրույցները, ձեր մոդելները և ձեր օգտագործումը մնում են սարքում: Չկա վերլուծական SDK, խափանումների մասին հաղորդող և մեր ներքին համակարգը։ Ավտոմատ պահուստավորումը և սարքի փոխանցումը անջատված են, ուստի նոր հեռախոսը չի ժառանգում ձեր զրույցները։ Ապատեղադրումը հեռացնում է ամեն ինչ։
Ինտերնետ է հասնում երկու գործիքի, քանի որ դրանք պետք է անեն դա՝ վեբ որոնումը և էջի բեռնումը։ Երկուսն էլ թվարկված են վերնագրի տակ, որտեղ ասվում է, որ դրանք լքում են սարքը, երկուսն էլ կարող են անջատվել, և յուրաքանչյուր զանգ, որը կատարվում է, պատասխանում տող է, որը նշում է դրա անունը և այն, ինչ այն տրվել է։ Ձեր Hugging Face տոկենը, եթե դուք սահմանել եք, կոդավորված է Android Keystore-ում պահվող բանալիով և ուղարկվում է միայն Hugging Face-ին։
ԻՆՉ Է ՁԵԶ ԱՆՀՐԱԺԵՇՏ
Android 12 կամ ավելի նոր տարբերակ, 64-բիթ ARM սարք և բավարար հիշողություն ձեր ընտրած մոդելի համար։ Հավելվածը ձեզ կասի ներբեռնումից առաջ։
Մոդելները գալիս են երրորդ կողմերից։ Դուք եք ընտրում, թե որ մեկը գործարկել, և այն, ինչ ասվում է, դրա հրատարակչի աշխատանքն է, այլ ոչ թե մերը։ Բաց կոդով՝ github.com/alpharomercoma/openweights կայքում։
Գործարկեք բաց քաշի արհեստական ինտելեկտի մոդելներ ձեր հեռախոսի վրա: Ոչ մի հաշիվ, ոչ մի ամպ, ոչ մի հեռաչափություն:
Վերջին թարմացումը՝
Անվտանգությունը որոշվում է նրանով, թե ինչպես են մշակողները հավաքում և փոխանցում ձեր տվյալները։ Տվյալների գաղտնիության և անվտանգության ապահովումը կախված է հավելվածի օգտագործումից, օգտատիրոջ տարիքից և բնակության երկրից։ Այս տեղեկությունները տրամադրվել են մշակողի կողմից և ժամանակի ընթացքում կարող են թարմացվել։
- Երրորդ կողմերին տվյալներ չեն փոխանցվումԻմացեք ավելին, թե ինչպես են մշակողները հայտարարում տվյալների փոխանցման մասին
- Հավելվածը տվյալներ չի հավաքումԻմացեք ավելին, թե ինչպես են մշակողները հայտարարում տվյալների հավաքման մասին
Ինչ նոր բան կա
Compiled models fixed, and a search that listens
- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once
- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once
Հավելվածի աջակցություն
Մշակողի մասին
Alpha Romer N. Coma
alpha.coma.ict@gmail.com
Blk 193 LOT 16 17th Street Phase 5B
Meycauayan
3020
Philippines
