Screen Operator - AI Agent

Android PowerUser

Апп доторх худалдан авалт

Энэ аппын тухай

**Энэ апп нь AccessibilityService API-г ашигладаг**

Энэхүү ухаалаг дэлгэцийн удирдлага нь хүртээмжийн хувьсгал юм.

Бидний олонхийн хувьд ухаалаг утас бол мэдээлэл, харилцаа холбоо, ажил, оролцооны хувьд дэлхий ертөнц рүү нэвтрэх гарц юм. Гэхдээ бие махбодийн, харааны болон танин мэдэхүйн бэрхшээлтэй сая сая хүмүүсийн хувьд эдгээр зөн совингийн мэт төхөөрөмжүүдийг ашиглах нь өдөр тутмын саад тотгор болж хувирдаг. Нарийн төвөгтэй дохио зангаа, жижиг товчлуурууд, замбараагүй интерфэйсүүд болон орчин үеийн аппликейшнуудын асар хурд нь оруулахын оронд тусгаарлах гэсэн утгатай дижитал хуваагдлыг бий болгодог.

Энэ бол хиймэл оюун ухаан (AI) зөвхөн туслах төдийгүй жинхэнэ идэвхжүүлэгчийн үүрэг гүйцэтгэдэг газар юм.

Төсөөлөөрэй:

Хөдөлгөөний чадвар маш хязгаарлагдмал хүний ​​хувьд: Жижиг товчлуурууд дээр нарийн товших эсвэл нарийн төвөгтэй шудрах дохио зангаа нь ихэвчлэн боломжгүй эсвэл маш их ядаргаатай байдаг. Хиймэл оюун ухаан эдгээр үйлдлүүдийг хариуцаж чаддаг. Энэ нь дэлгэцийг шинжилж, байг таньж (жишээ нь, "илгээх" товчлуур), энгийн командын хариуд (дуу хоолой, толгойн хөдөлгөөн, ганц товчлуур дарах) үйлдлийг яг таг гүйцэтгэдэг. Энэ нь төвөгтэй ажлыг жигд үйл явц болгон хувиргаж, өөрөөр хандах боломжгүй хэвээр байх аппликейшнуудыг ашиглах боломжийг олгодог. Харааны бэрхшээлтэй хүний ​​хувьд: Дэлгэц уншигч нь текстийг чангаар уншиж чаддаг ч шошгогүй график эсвэл нарийн төвөгтэй зохион байгуулалттай холбоотой асуудалтай тулгардаг. Хиймэл оюун ухаан нь харааны контекстийг ойлгож чаддаг. Энэ нь элементүүдийг ("логоны баруун талд байгаа товчлуур") тодорхойлж, тэдгээрийг тушаалаар идэвхжүүлж чаддаг. Энэ нь харааны сканнердах шаардлагатай ердийн ажлуудыг (жишээлбэл, өдөр бүр апп-аас тодорхой мэдээллийг авах) бүрэн автоматжуулж, үр дүнг нь хүртээмжтэй байдлаар харуулж чаддаг.

Танин мэдэхүйн бэрхшээлтэй хүний ​​хувьд: Олон үе шаттай үйл явц эсвэл танил бус цэсээр аялах нь хэтэрхий төвөгтэй байж болно. Хиймэл оюун ухаан нь ухаалаг туслахын үүрэг гүйцэтгэж чаддаг. Энэ нь хэрэглэгчийн зорилгыг ("Би төлбөрөө төлөхийг хүсч байна") ойлгож, шаардлагатай алхмуудыг гүйцэтгэдэг - зөв апп нээх, төлбөрийн хэсэг рүү шилжих, мэдэгдэж буй өгөгдлийг бөглөх - бие даан эсвэл хамгийн бага харилцан үйлчлэлтэй. Энэ нь нарийн төвөгтэй байдлыг бууруулж, болзошгүй алдааг багасгаж, өдөр тутмын дижитал ажлуудад бие даасан байдлыг дэмждэг.

Энэ нь энгийн автоматжуулалтаас хамаагүй илүү юм. Энэ нь товшилтыг тоолох тухай биш юм. Зорилго нь хиймэл оюун ухаан нь контекстийг ойлгож, хэрэглэгчийн зорилгыг тайлбарлаж, саад бэрхшээлийг даван туулахын тулд зорилготой ажиллах явдал юм. Энэ нь хувь хүний ​​чадвар, хэрэгцээнд тохирсон харилцан үйлчлэлийг сурч, дасан зохицож, идэвхжүүлдэг.

Эдгээр хиймэл оюун ухаанаар ажилладаг дэлгэцийн үйлдлүүд нь "сайхан байх" эсвэл тохиромжтой функц биш юм. Эдгээр нь хөгжлийн бэрхшээлтэй хүмүүст дижитал хэрэгслийг үр дүнтэй, бие даан ашиглах цорын ганц арга зам юм. Эдгээр нь боловсрол, ажил, нийгмийн холбоо, зайлшгүй шаардлагатай үйлчилгээнд нэвтрэх гэсэн үг юм. Эдгээр нь дижитал оролцоо, тэгш боломжуудын түлхүүр юм.

Тиймээс дэлгэцэн дээр шууд үйлдэл хийдэг хиймэл оюун ухааныг хөгжүүлж, хариуцлагатай ашиглах нь хэнийг ч орхигдуулдаггүй үнэхээр хүртээмжтэй дижитал ертөнц рүү чиглэсэн чухал алхам юм. Энэ бол нэгэн цагт хана байсан газруудын хаалгыг нээдэг үл үзэгдэх гар юм.

**Энэ апп нь AccessibilityService API-г ашигладаг**

Аливаа аппликейшнийг Дэлгэцийн Оператороор ажиллуул. Үүний тулд харааны загварууд нь ярианы загварууд болон ухаалаг гар утсыг ашиглах командуудыг агуулсан системийн мессежийг хүлээн авдаг. Хэлний загварууд нь харгалзах командуудтай хариу үйлдэл үзүүлдэг бөгөөд дараа нь энэ аппликейшнээр гүйцэтгэгддэг. Энэ аппликейшн нь мөн Termux-тэй холбогдож, тэнд командуудыг гүйцэтгэх боломжтой.

Шинэчлэлт бүрийн дараа шинэ хэрэгслүүдэд хандахын тулд "Системийн мессежийг сэргээх" дээр дарна уу.

GitHub-аар дамжуулан илүү хурдан шинэчлэлтүүдийг аваарай: https://github.com/Android-PowerUser/ScreenOperator

Шинэ юм юу байна

Gesture recognition does not stop on its own