OpenWeights: Edge Inference
ໄວຮຸ່ນ
info
1+
ດາວໂຫຼດ
ກ່ຽວກັບແອັບນີ້
OpenWeights ໃຊ້ຮູບແບບພາສານ້ຳໜັກເປີດໂດຍກົງໃນໂທລະສັບຂອງທ່ານ. ບໍ່ມີບັນຊີທີ່ຈະສ້າງ, ບໍ່ມີເຊີບເວີທີ່ຈະລົມກັບ, ແລະບໍ່ມີຫຍັງວັດແທກກ່ຽວກັບທ່ານ.
ຄົ້ນຫາ Hugging Face ຈາກພາຍໃນແອັບ, ຊອກຫາວ່າຮູບແບບຈະເຮັດວຽກຢູ່ໃນອຸປະກອນຂອງທ່ານແທ້ໆກ່ອນທີ່ທ່ານຈະດາວໂຫຼດມັນ, ແລະສົນທະນາກັບມັນ. ທຸກໆໂທເຄັນແມ່ນຜະລິດໂດຍຮາດແວຂອງທ່ານເອງ.
ຮູບແບບໃດກໍໄດ້, ບໍ່ແມ່ນລາຍການ
ແອັບໃນອຸປະກອນອື່ນໆຈະມອບລາຍຊື່ສັ້ນໆທີ່ຄົນອື່ນເລືອກໃຫ້ທ່ານ. OpenWeights ຈະມອບ Hub ໃຫ້ທ່ານ. ຖ້າມີຄົນເຜີຍແຜ່ GGUF ໜຶ່ງຊົ່ວໂມງກ່ອນ, ທ່ານສາມາດເປີດໃຊ້ມັນໄດ້.
ຊື່ສັດກ່ຽວກັບອຸປະກອນຂອງທ່ານ
ກ່ອນທີ່ທ່ານຈະໃຊ້ຈ່າຍກິກະໄບ, ແອັບຈະອ່ານຫົວຂໍ້ຂອງຮູບແບບຜ່ານເຄືອຂ່າຍ ແລະບອກທ່ານວ່າມັນຕ້ອງການຫຍັງຕາມຄວາມຍາວຂອງບໍລິບົດທີ່ທ່ານເລືອກ, ປະມານວ່າມັນຈະໄວເທົ່າໃດ, ແລະວ່າມັນຈະເຮັດວຽກຢູ່ໃນໂທລະສັບຂອງທ່ານຫຼືບໍ່.
ຕົວເລກຕົວຈິງ, ຢູ່ຕໍ່ໜ້າທ່ານ
ໂທເຄັນຕໍ່ວິນາທີ, ເວລາເຖິງໂທເຄັນທຳອິດ, ແລະວ່າໜ້າຕ່າງບໍລິບົດເຕັມເທົ່າໃດ, ສະແດງໃນຂະນະທີ່ທ່ານສົນທະນາແທນທີ່ຈະຖືກເຊື່ອງໄວ້.
ຂອງເຈົ້າເອງທີ່ຈະປັບແຕ່ງ
ອຸນຫະພູມ, top-p, top-k, ການລົງໂທດຊ້ຳ, ຄວາມຍາວຂອງສະພາບການ, ການກະຕຸ້ນເຕືອນຂອງລະບົບ ແລະ ສິ່ງທີ່ຕົວແບບໄດ້ຖືກບອກກ່ຽວກັບເຄື່ອງມືຂອງມັນ, ທັງໝົດຖືກບັນທຶກໄວ້ຕໍ່ຕົວແບບ. ບ່ອນທີ່ຕົວແບບສາມາດຄິດກ່ອນທີ່ມັນຈະຕອບນັ້ນແມ່ນສະວິດເຊັ່ນກັນ, ແລະ ໃນໂທລະສັບທີ່ມີ GPU ທີ່ໃຊ້ງານໄດ້ ທ່ານສາມາດບອກໄດ້ວ່າໂປເຊດເຊີໃດຖືຊັ້ນຕ່າງໆ.
ຫຼາຍກວ່າຂໍ້ຄວາມ
ຮູບພາບ ແລະ ສຽງສຳລັບຕົວແບບທີ່ສົ່ງໂປເຊດເຊີໃຫ້ພວກເຂົາ, ເອກະສານທີ່ຕົວແບບໃດສາມາດອ່ານໄດ້, ການຂຽນຕາມສຽງຜ່ານຕົວຮັບຮູ້ໃນອຸປະກອນຂອງໂທລະສັບຂອງທ່ານເອງ, ແລະ ອ່ານອອກສຽງ.
ຜູ້ຊ່ວຍທີ່ສາມາດປະຕິບັດໄດ້
ຕົວແບບສາມາດຄົ້ນຫາເວັບ, ອ່ານໜ້າ, ແລະ ເຮັດວຽກກັບໂຟນເດີທີ່ທ່ານເລືອກທີ່ຈະແບ່ງປັນ. ທ່ານຕັດສິນໃຈວ່າມັນຈະໄດ້ຮັບເຊືອກເທົ່າໃດ: ອະນຸມັດທຸກຂັ້ນຕອນ, ປ່ອຍໃຫ້ມັນເຮັດວຽກ, ຫຼື ຂໍໃຫ້ມັນວາງແຜນກ່ອນ ແລະ ບອກສິ່ງທີ່ມັນຈະເຮັດກ່ອນທີ່ຈະມີຫຍັງເກີດຂຶ້ນ. ມັນສາມາດຖາມຄຳຖາມທີ່ຊັດເຈນໃຫ້ທ່ານ ແລະ ປະຕິບັດຕາມລາຍການກວດສອບທີ່ທ່ານສາມາດໝາຍຕິກໄດ້ດ້ວຍຕົວທ່ານເອງ. ເຄື່ອງມືທຸກຢ່າງສາມາດປິດໄດ້.
ສ່ວນຕົວໂດຍການກໍ່ສ້າງ
ການສົນທະນາຂອງທ່ານ, ຕົວແບບຂອງທ່ານ ແລະ ການນຳໃຊ້ຂອງທ່ານຍັງຄົງຢູ່ໃນອຸປະກອນ. ບໍ່ມີ SDK ວິເຄາະ, ບໍ່ມີຕົວລາຍງານການຂັດຂ້ອງ, ແລະບໍ່ມີ backend ຂອງພວກເຮົາ. ການສຳຮອງຂໍ້ມູນອັດຕະໂນມັດ ແລະ ການໂອນຍ້າຍອຸປະກອນຖືກປິດ, ດັ່ງນັ້ນໂທລະສັບໃໝ່ຈະບໍ່ສືບທອດການສົນທະນາຂອງທ່ານ. ການຖອນການຕິດຕັ້ງຈະລຶບທຸກຢ່າງອອກ.
ເຄື່ອງມືສອງຢ່າງເຂົ້າເຖິງອິນເຕີເນັດ, ເພາະວ່າພວກມັນຕ້ອງ: ການຄົ້ນຫາເວັບ ແລະ ການດຶງໜ້າເວັບ. ທັງສອງຖືກລະບຸໄວ້ພາຍໃຕ້ຫົວຂໍ້ທີ່ບອກວ່າພວກມັນອອກຈາກອຸປະກອນ, ທັງສອງສາມາດປິດໄດ້, ແລະທຸກໆການໂທທີ່ເຮັດແມ່ນແຖວໃນການຕອບກັບທີ່ບອກຊື່ມັນ ແລະ ສິ່ງທີ່ມັນໄດ້ຮັບ. ໂທເຄັນ Hugging Face ຂອງທ່ານ, ຖ້າທ່ານຕັ້ງຄ່າອັນໜຶ່ງ, ຈະຖືກເຂົ້າລະຫັດດ້ວຍລະຫັດທີ່ເກັບໄວ້ໃນ Android Keystore ແລະຖືກສົ່ງໄປຫາ Hugging Face ເທົ່ານັ້ນ.
ສິ່ງທີ່ທ່ານຕ້ອງການ
Android 12 ຫຼື ໃໝ່ກວ່າ, ອຸປະກອນ ARM 64-ບິດ, ແລະໜ່ວຍຄວາມຈຳພຽງພໍສຳລັບຮຸ່ນທີ່ທ່ານເລືອກ. ແອັບຈະບອກທ່ານກ່ອນທີ່ທ່ານຈະດາວໂຫຼດ.
ຮຸ່ນມາຈາກພາກສ່ວນທີສາມ. ທ່ານເລືອກວ່າຈະໃຊ້ອັນໃດ, ແລະສິ່ງທີ່ມັນເວົ້າແມ່ນຜົນງານຂອງຜູ້ເຜີຍແຜ່ແທນທີ່ຈະເປັນຂອງພວກເຮົາ. ແຫຼ່ງເປີດ, ທີ່ github.com/alpharomercoma/openweights.
ຄົ້ນຫາ Hugging Face ຈາກພາຍໃນແອັບ, ຊອກຫາວ່າຮູບແບບຈະເຮັດວຽກຢູ່ໃນອຸປະກອນຂອງທ່ານແທ້ໆກ່ອນທີ່ທ່ານຈະດາວໂຫຼດມັນ, ແລະສົນທະນາກັບມັນ. ທຸກໆໂທເຄັນແມ່ນຜະລິດໂດຍຮາດແວຂອງທ່ານເອງ.
ຮູບແບບໃດກໍໄດ້, ບໍ່ແມ່ນລາຍການ
ແອັບໃນອຸປະກອນອື່ນໆຈະມອບລາຍຊື່ສັ້ນໆທີ່ຄົນອື່ນເລືອກໃຫ້ທ່ານ. OpenWeights ຈະມອບ Hub ໃຫ້ທ່ານ. ຖ້າມີຄົນເຜີຍແຜ່ GGUF ໜຶ່ງຊົ່ວໂມງກ່ອນ, ທ່ານສາມາດເປີດໃຊ້ມັນໄດ້.
ຊື່ສັດກ່ຽວກັບອຸປະກອນຂອງທ່ານ
ກ່ອນທີ່ທ່ານຈະໃຊ້ຈ່າຍກິກະໄບ, ແອັບຈະອ່ານຫົວຂໍ້ຂອງຮູບແບບຜ່ານເຄືອຂ່າຍ ແລະບອກທ່ານວ່າມັນຕ້ອງການຫຍັງຕາມຄວາມຍາວຂອງບໍລິບົດທີ່ທ່ານເລືອກ, ປະມານວ່າມັນຈະໄວເທົ່າໃດ, ແລະວ່າມັນຈະເຮັດວຽກຢູ່ໃນໂທລະສັບຂອງທ່ານຫຼືບໍ່.
ຕົວເລກຕົວຈິງ, ຢູ່ຕໍ່ໜ້າທ່ານ
ໂທເຄັນຕໍ່ວິນາທີ, ເວລາເຖິງໂທເຄັນທຳອິດ, ແລະວ່າໜ້າຕ່າງບໍລິບົດເຕັມເທົ່າໃດ, ສະແດງໃນຂະນະທີ່ທ່ານສົນທະນາແທນທີ່ຈະຖືກເຊື່ອງໄວ້.
ຂອງເຈົ້າເອງທີ່ຈະປັບແຕ່ງ
ອຸນຫະພູມ, top-p, top-k, ການລົງໂທດຊ້ຳ, ຄວາມຍາວຂອງສະພາບການ, ການກະຕຸ້ນເຕືອນຂອງລະບົບ ແລະ ສິ່ງທີ່ຕົວແບບໄດ້ຖືກບອກກ່ຽວກັບເຄື່ອງມືຂອງມັນ, ທັງໝົດຖືກບັນທຶກໄວ້ຕໍ່ຕົວແບບ. ບ່ອນທີ່ຕົວແບບສາມາດຄິດກ່ອນທີ່ມັນຈະຕອບນັ້ນແມ່ນສະວິດເຊັ່ນກັນ, ແລະ ໃນໂທລະສັບທີ່ມີ GPU ທີ່ໃຊ້ງານໄດ້ ທ່ານສາມາດບອກໄດ້ວ່າໂປເຊດເຊີໃດຖືຊັ້ນຕ່າງໆ.
ຫຼາຍກວ່າຂໍ້ຄວາມ
ຮູບພາບ ແລະ ສຽງສຳລັບຕົວແບບທີ່ສົ່ງໂປເຊດເຊີໃຫ້ພວກເຂົາ, ເອກະສານທີ່ຕົວແບບໃດສາມາດອ່ານໄດ້, ການຂຽນຕາມສຽງຜ່ານຕົວຮັບຮູ້ໃນອຸປະກອນຂອງໂທລະສັບຂອງທ່ານເອງ, ແລະ ອ່ານອອກສຽງ.
ຜູ້ຊ່ວຍທີ່ສາມາດປະຕິບັດໄດ້
ຕົວແບບສາມາດຄົ້ນຫາເວັບ, ອ່ານໜ້າ, ແລະ ເຮັດວຽກກັບໂຟນເດີທີ່ທ່ານເລືອກທີ່ຈະແບ່ງປັນ. ທ່ານຕັດສິນໃຈວ່າມັນຈະໄດ້ຮັບເຊືອກເທົ່າໃດ: ອະນຸມັດທຸກຂັ້ນຕອນ, ປ່ອຍໃຫ້ມັນເຮັດວຽກ, ຫຼື ຂໍໃຫ້ມັນວາງແຜນກ່ອນ ແລະ ບອກສິ່ງທີ່ມັນຈະເຮັດກ່ອນທີ່ຈະມີຫຍັງເກີດຂຶ້ນ. ມັນສາມາດຖາມຄຳຖາມທີ່ຊັດເຈນໃຫ້ທ່ານ ແລະ ປະຕິບັດຕາມລາຍການກວດສອບທີ່ທ່ານສາມາດໝາຍຕິກໄດ້ດ້ວຍຕົວທ່ານເອງ. ເຄື່ອງມືທຸກຢ່າງສາມາດປິດໄດ້.
ສ່ວນຕົວໂດຍການກໍ່ສ້າງ
ການສົນທະນາຂອງທ່ານ, ຕົວແບບຂອງທ່ານ ແລະ ການນຳໃຊ້ຂອງທ່ານຍັງຄົງຢູ່ໃນອຸປະກອນ. ບໍ່ມີ SDK ວິເຄາະ, ບໍ່ມີຕົວລາຍງານການຂັດຂ້ອງ, ແລະບໍ່ມີ backend ຂອງພວກເຮົາ. ການສຳຮອງຂໍ້ມູນອັດຕະໂນມັດ ແລະ ການໂອນຍ້າຍອຸປະກອນຖືກປິດ, ດັ່ງນັ້ນໂທລະສັບໃໝ່ຈະບໍ່ສືບທອດການສົນທະນາຂອງທ່ານ. ການຖອນການຕິດຕັ້ງຈະລຶບທຸກຢ່າງອອກ.
ເຄື່ອງມືສອງຢ່າງເຂົ້າເຖິງອິນເຕີເນັດ, ເພາະວ່າພວກມັນຕ້ອງ: ການຄົ້ນຫາເວັບ ແລະ ການດຶງໜ້າເວັບ. ທັງສອງຖືກລະບຸໄວ້ພາຍໃຕ້ຫົວຂໍ້ທີ່ບອກວ່າພວກມັນອອກຈາກອຸປະກອນ, ທັງສອງສາມາດປິດໄດ້, ແລະທຸກໆການໂທທີ່ເຮັດແມ່ນແຖວໃນການຕອບກັບທີ່ບອກຊື່ມັນ ແລະ ສິ່ງທີ່ມັນໄດ້ຮັບ. ໂທເຄັນ Hugging Face ຂອງທ່ານ, ຖ້າທ່ານຕັ້ງຄ່າອັນໜຶ່ງ, ຈະຖືກເຂົ້າລະຫັດດ້ວຍລະຫັດທີ່ເກັບໄວ້ໃນ Android Keystore ແລະຖືກສົ່ງໄປຫາ Hugging Face ເທົ່ານັ້ນ.
ສິ່ງທີ່ທ່ານຕ້ອງການ
Android 12 ຫຼື ໃໝ່ກວ່າ, ອຸປະກອນ ARM 64-ບິດ, ແລະໜ່ວຍຄວາມຈຳພຽງພໍສຳລັບຮຸ່ນທີ່ທ່ານເລືອກ. ແອັບຈະບອກທ່ານກ່ອນທີ່ທ່ານຈະດາວໂຫຼດ.
ຮຸ່ນມາຈາກພາກສ່ວນທີສາມ. ທ່ານເລືອກວ່າຈະໃຊ້ອັນໃດ, ແລະສິ່ງທີ່ມັນເວົ້າແມ່ນຜົນງານຂອງຜູ້ເຜີຍແຜ່ແທນທີ່ຈະເປັນຂອງພວກເຮົາ. ແຫຼ່ງເປີດ, ທີ່ github.com/alpharomercoma/openweights.
ໃຊ້ຮູບແບບ AI ທີ່ມີນ້ຳໜັກເປີດໃນໂທລະສັບຂອງທ່ານ. ບໍ່ມີບັນຊີ, ບໍ່ມີຄລາວ, ບໍ່ມີການວັດແທກ ແລະ ສົ່ງຂໍ້ມູນທາງໄກ.
ອັບເດດແລ້ວເມື່ອ
ຄວາມປອດໄພເລີ່ມດ້ວຍການເຂົ້າໃຈວ່ານັກພັດທະນາເກັບກຳ ແລະ ແບ່ງປັນຂໍ້ມູນຂອງທ່ານແນວໃດ. ວິທີປະຕິບັດກ່ຽວກັບຄວາມເປັນສ່ວນຕົວ ແລະ ຄວາມປອດໄພຂອງຂໍ້ມູນອາດຈະແຕກຕ່າງກັນອີງຕາມການນຳໃຊ້, ພາກພື້ນ ແລະ ອາຍຸຂອງທ່ານ. ນັກພັດທະນາໃຫ້ຂໍ້ມູນນີ້ ແລະ ອາດຈະອັບເດດມັນເມື່ອເວລາຜ່ານໄປ.
- ບໍ່ໄດ້ໄດ້ແບ່ງປັນຂໍ້ມູນກັບພາກສ່ວນທີສາມສຶກສາເພີ່ມເຕີມ ກ່ຽວກັບວ່ານັກພັດທະນາປະກາດການແບ່ງປັນຂໍ້ມູນແນວໃດ
- ບໍ່ໄດ້ເກັບກຳຂໍ້ມູນສຶກສາເພີ່ມເຕີມ ກ່ຽວກັບວ່ານັກພັດທະນາປະກາດການເກັບກຳຂໍ້ມູນແນວໃດ
ມີຫຍັງໃໝ່
Compiled models fixed, and a search that listens
- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once
- ExecuTorch models now open on every phone; a crash on load is fixed
- The model picker shows all your models at once, with each compiled model's context window
- Compiled models say their context window before you download, and no longer overflow it: tools step aside and long chats fold to make room
- Typing in Discover searches all of Hugging Face
- Big downloads finish without a long check at the end, and Cancel stops them at once
ຝ່າຍຊ່ວຍເຫຼືອຂອງແອັບ
ກ່ຽວກັບນັກພັດທະນາແອັບ
Alpha Romer N. Coma
alpha.coma.ict@gmail.com
Blk 193 LOT 16 17th Street Phase 5B
Meycauayan
3020
Philippines
