OpenWeights: Edge Inference

Alpha Romer Coma

เกี่ยวกับแอปนี้

OpenWeights รันโมเดลภาษาแบบโอเพ่นเวทโดยตรงบนโทรศัพท์ของคุณ ไม่ต้องสร้างบัญชี ไม่ต้องติดต่อกับเซิร์ฟเวอร์ และไม่มีการวัดข้อมูลใดๆ เกี่ยวกับตัวคุณ

ค้นหา Hugging Face จากภายในแอป ตรวจสอบว่าโมเดลนั้นใช้งานได้บนอุปกรณ์ของคุณหรือไม่ก่อนดาวน์โหลด และสนทนากับโมเดลนั้นได้ โทเค็นทุกตัวสร้างขึ้นจากฮาร์ดแวร์ของคุณเอง

โมเดลใดก็ได้ ไม่ใช่แค่แคตตาล็อก

แอปอื่นๆ บนอุปกรณ์จะแสดงรายชื่อโมเดลที่คนอื่นเลือกไว้ให้ แต่ OpenWeights มอบ Hub ให้คุณ หากมีคนเผยแพร่ GGUF เมื่อชั่วโมงที่แล้ว คุณก็สามารถใช้งานได้

ซื่อสัตย์เกี่ยวกับอุปกรณ์ของคุณ

ก่อนที่คุณจะใช้พื้นที่จัดเก็บข้อมูล แอปจะอ่านส่วนหัวของโมเดลผ่านเครือข่ายและบอกคุณว่าต้องการอะไรบ้างในความยาวบริบทที่คุณเลือก ความเร็วโดยประมาณ และว่าจะใช้งานได้บนโทรศัพท์ของคุณหรือไม่

ตัวเลขจริง อยู่ตรงหน้าคุณ

จำนวนโทเค็นต่อวินาที เวลาถึงโทเค็นแรก และความจุของหน้าต่างบริบท แสดงให้เห็นขณะที่คุณแชท แทนที่จะซ่อนไว้

ปรับแต่งได้ตามต้องการ

อุณหภูมิ top-p top-k ค่าปรับการทำซ้ำ ความยาวของบริบท ข้อความแจ้งเตือนของระบบ และสิ่งที่โมเดลได้รับแจ้งเกี่ยวกับเครื่องมือต่างๆ ทั้งหมดนี้บันทึกไว้สำหรับแต่ละโมเดล การตั้งค่าให้โมเดลคิดก่อนตอบก็เป็นอีกทางเลือกหนึ่ง และในโทรศัพท์ที่มี GPU ที่ใช้งานได้ คุณสามารถระบุได้ว่าโปรเซสเซอร์ใดกำลังประมวลผลเลเยอร์อยู่

มากกว่าแค่ข้อความ

รูปภาพและวิดีโอสำหรับโมเดลที่มีโปรเจ็กเตอร์ เอกสารที่โมเดลใดๆ ก็สามารถอ่านได้ การป้อนข้อความด้วยเสียงผ่านตัวจดจำเสียงในเครื่อง และการอ่านออกเสียง

ผู้ช่วยที่สามารถลงมือทำได้

โมเดลสามารถค้นหาข้อมูลบนเว็บ อ่านหน้าเว็บ และทำงานกับโฟลเดอร์ที่คุณเลือกแชร์ได้ คุณเป็นผู้กำหนดว่ามันจะมีอิสระมากแค่ไหน: อนุมัติทุกขั้นตอน ปล่อยให้มันทำงาน หรือขอให้มันวางแผนก่อนและบอกว่ามันจะทำอะไรก่อนที่จะเกิดอะไรขึ้น แอปสามารถถามคำถามเพิ่มเติมและให้คุณตรวจสอบรายการได้ด้วยตนเอง ทุกเครื่องมือสามารถปิดใช้งานได้

ความเป็นส่วนตัวโดยการออกแบบ

การสนทนา โมเดล และการใช้งานของคุณจะอยู่บนอุปกรณ์ของคุณเท่านั้น ไม่มี SDK สำหรับการวิเคราะห์ ไม่มีตัวรายงานข้อผิดพลาด และไม่มีแบ็กเอนด์ของเรา การสำรองข้อมูลอัตโนมัติและการถ่ายโอนอุปกรณ์ถูกปิดใช้งาน ดังนั้นโทรศัพท์เครื่องใหม่จะไม่ได้รับข้อมูลการสนทนาของคุณ การถอนการติดตั้งจะลบทุกอย่าง

มีเครื่องมือสองอย่างที่เข้าถึงอินเทอร์เน็ต เนื่องจากจำเป็นต้องทำ ได้แก่ การค้นหาเว็บและการดึงข้อมูลหน้าเว็บ ทั้งสองอย่างแสดงอยู่ภายใต้หัวข้อที่ระบุว่าเครื่องมือเหล่านั้นออกจากอุปกรณ์ ทั้งสองอย่างสามารถปิดใช้งานได้ และทุกการโทรที่ทำจะถูกบันทึกไว้ในข้อความตอบกลับ โดยระบุชื่อการโทรและสิ่งที่ได้รับ โทเค็น Hugging Face ของคุณ หากคุณตั้งค่าไว้ จะถูกเข้ารหัสด้วยคีย์ที่เก็บไว้ใน Android Keystore และส่งไปยัง Hugging Face เท่านั้น

สิ่งที่คุณต้องการ

Android 12 หรือใหม่กว่า อุปกรณ์ ARM 64 บิต และหน่วยความจำที่เพียงพอสำหรับรุ่นที่คุณเลือก แอปจะแจ้งเตือนคุณก่อนดาวน์โหลด

โมเดลมาจากผู้พัฒนาภายนอก คุณเลือกได้ว่าจะใช้งานโมเดลใด และสิ่งที่ระบุไว้คือผลงานของผู้เผยแพร่ ไม่ใช่ผลงานของเรา เป็นโอเพนซอร์สที่ github.com/alpharomercoma/openweights

มีอะไรใหม่

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.