OpenWeights: Edge Inference

Alpha Romer Coma

Энэ аппын тухай

OpenWeights нь таны утсан дээр нээлттэй жингийн хэлний загваруудыг шууд ажиллуулдаг. Бүртгэл үүсгэх, сервертэй холбогдох, таны талаар юу ч хэмжихгүй.

Апп дотроос Hugging Face гэж хайгаад, загварыг татаж авахаасаа өмнө таны төхөөрөмж дээр ажиллах эсэхийг олж мэдээд, чатлаарай. Токен бүрийг таны өөрийн техник хангамж үүсгэдэг.

КАТАЛОГ БИШ, АЛЬ Ч ЗАГВАР

Төхөөрөмж дээрх бусад аппликейшнууд танд өөр хэн нэгний сонгосон богино жагсаалтыг өгдөг. OpenWeights танд Hub-г өгдөг. Хэрэв хэн нэгэн цагийн өмнө GGUF нийтэлсэн бол та үүнийг ажиллуулж болно.

ТӨХӨӨРӨМЖИЙНХЭЭ ШҮҮНЧ МЭДЭЭЛЭЛ

Та гигабайт зарцуулахаасаа өмнө аппликейшн нь загварын толгой хэсгийг сүлжээгээр уншиж, таны сонгосон контекст уртад юу хэрэгтэй байгааг, ойролцоогоор хэр хурдан байх, таны утсан дээр ажиллах эсэхийг хэлж өгдөг.

ЖИНХЭНЭ ТООНУУД, ТАНЫ ӨМНӨ

Секундэд ногдох токенууд, эхний токен хүртэлх хугацаа, контекст цонх хэр дүүрэн байгааг нуухын оронд чатлах үед харуулдаг.

ТАНЫ ТААРУУЛГА

Температур, дээд-p, дээд-k, давталтын торгууль, контекст урт, системийн хүсэлт болон загварт түүний хэрэгслүүдийн талаар юу гэж хэлснийг бүгдийг нь загвар тус бүрээр хадгалдаг. Загвар хариулахаасаа өмнө бодож чаддаг бол энэ нь бас нэг унтраалга бөгөөд ажиллаж байгаа GPU-тай утсан дээр аль процессор давхаргыг барьж байгааг хэлж болно.

ТЕКСТЭЭС ИЛҮҮ ИХ

Тэдэнд зориулж проектор илгээсэн загваруудын зураг, аудио, аливаа загварын уншиж болох баримт бичиг, таны утасны төхөөрөмж дээрх танигчаар дамжуулан диктант бичих, чангаар унших.

ҮЙЛ АЖИЛЛАЖ ЧАДАХ ТУСЛАХ

Загвар нь вэбээс хайлт хийж, хуудас уншиж, таны хуваалцахаар сонгосон хавтастай ажиллах боломжтой. Та хэр их олс авахаа шийднэ: алхам бүрийг батлах, ажиллуулах эсвэл эхлээд төлөвлөхийг хүсэх, ямар нэгэн зүйл болохоос өмнө юу хийхээ хэлэх. Энэ нь танаас тодруулах асуулт асууж, өөрөө тэмдэглэж болох шалгах хуудсыг дагаж болно. Бүх хэрэгслийг унтрааж болно.

БАРИЛГААР ХУВИЙН БАЙГУУЛАЛТ

Таны яриа, загварууд болон хэрэглээ төхөөрөмж дээр үлдэнэ. Манайх аналитик SDK, ослын мэдээлэгч, арын хэсэг байхгүй. Автомат нөөцлөлт болон төхөөрөмжийн шилжүүлэг идэвхгүй тул шинэ утас таны чатыг өвлөхгүй. Устгаснаар бүх зүйл устах болно.

Интернетэд хоёр хэрэгсэл хүрдэг, учир нь тэд вэб хайлт болон хуудас татаж авах ёстой. Хоёулаа төхөөрөмжөөс гардаг гэсэн гарчиг дор жагсаагдсан, хоёуланг нь унтрааж болох бөгөөд хийсэн дуудлага бүр нь хариуд нь нэрлэсэн мөр болон өгсөн зүйлийг харуулдаг. Хэрэв та тохируулсан бол таны тэврэлтийн нүүрний токен нь Android Keystore-д хадгалагдсан түлхүүрээр шифрлэгдсэн бөгөөд зөвхөн тэврэлтийн нүүр рүү илгээгддэг.

ТАНД ЮУ ХЭРЭГТЭЙ ВЭ

Android 12 эсвэл түүнээс хойшхи хувилбар, 64 битийн ARM төхөөрөмж, таны сонгосон загварт хангалттай санах ойтой. Аппликейшн таныг татаж авахаас өмнө танд мэдэгдэх болно.

Загварууд нь гуравдагч этгээдээс ирдэг. Та алийг нь ажиллуулахаа сонгоно, мөн түүний бичсэн зүйл нь биднийх биш харин нийтлэгчийнх нь бүтээл юм. Нээлттэй эх сурвалж, github.com/alpharomercoma/openweights хаягаар.

Шинэ юм юу байна

Image detail, search width, and a breakdown of every reply

- Added a per-reply breakdown: long-press a reply for its timings, what the cache reused, and prefill and decode speeds.
- Added an image detail setting for vision models, trading speed against how much of a picture is read.
- Added a setting for how many results a search returns.
- Added a cancel button to downloads, and copying a reply as Markdown.
- Improved web page reading and pasted links.
- Fixed a greeting answered as a date.