Screen Operator - AI Agent

Android PowerUser

ទិញនៅក្នុងកម្មវិធី

អំពី​កម្មវិធីនេះ

**កម្មវិធីនេះប្រើប្រាស់ AccessibilityService API**

ការគ្រប់គ្រងអេក្រង់ឆ្លាតវៃនេះគឺជាបដិវត្តន៍សម្រាប់ភាពងាយស្រួលចូលប្រើប្រាស់។

សម្រាប់យើងភាគច្រើន ស្មាតហ្វូនគឺជាច្រកទ្វារទៅកាន់ពិភពលោក - សម្រាប់ព័ត៌មាន ការទំនាក់ទំនង ការងារ និងការចូលរួម។ ប៉ុន្តែសម្រាប់មនុស្សរាប់លាននាក់ដែលមានពិការភាពរាងកាយ ការមើលឃើញ ឬការយល់ដឹង ការប្រើប្រាស់ឧបករណ៍ដែលហាក់ដូចជាវិចារណញាណទាំងនេះអាចក្លាយជាឧបសគ្គប្រចាំថ្ងៃ។ កាយវិការស្មុគស្មាញ ប៊ូតុងតូចៗ ចំណុចប្រទាក់រញ៉េរញ៉ៃ និងល្បឿនដ៏ធំធេងនៃកម្មវិធីទំនើបបង្កើតការបែងចែកឌីជីថលដែលមានន័យថាឯកោជំនួសឱ្យការរួមបញ្ចូល។

នេះជាកន្លែងដែលបញ្ញាសិប្បនិម្មិត (AI) ដើរតួមិនត្រឹមតែជាជំនួយការប៉ុណ្ណោះទេ ប៉ុន្តែជាឧបករណ៍ជំនួយពិតប្រាកដ។

ស្រមៃមើល៖

សម្រាប់មនុស្សដែលមានជំនាញម៉ូទ័រមានកម្រិតខ្លាំង៖ ការប៉ះប៊ូតុងតូចៗ ឬកាយវិការអូសស្មុគស្មាញជាញឹកញាប់មិនអាចទៅរួចទេ ឬហត់នឿយខ្លាំង។ AI អាចទទួលយកសកម្មភាពទាំងនេះ។ វាវិភាគអេក្រង់ ស្គាល់គោលដៅ (ឧទាហរណ៍ ប៊ូតុង "ផ្ញើ") និងអនុវត្តសកម្មភាពយ៉ាងច្បាស់លាស់ដើម្បីឆ្លើយតបទៅនឹងពាក្យបញ្ជាសាមញ្ញមួយ (សំឡេង ចលនាក្បាល ការចុចគ្រាប់ចុចតែមួយ)។ វាបំលែងកិច្ចការដ៏ខកចិត្តទៅជាដំណើរការដ៏រលូន និងអនុញ្ញាតឱ្យប្រើប្រាស់កម្មវិធីដែលបើមិនដូច្នោះទេនឹងនៅតែមិនអាចចូលប្រើបាន។ សម្រាប់មនុស្សដែលមានពិការភាពខាងការមើលឃើញ៖ ខណៈពេលដែលកម្មវិធីអានអេក្រង់អាចអានអត្ថបទឮៗ ពួកគេច្រើនតែជួបការលំបាកជាមួយនឹងក្រាហ្វិកដែលមិនមានស្លាក ឬប្លង់ស្មុគស្មាញ។ AI អាចយល់ពីបរិបទដែលមើលឃើញ។ វាអាចកំណត់អត្តសញ្ញាណធាតុ ("ប៊ូតុងនៅខាងស្តាំនៃឡូហ្គោ") ហើយធ្វើឱ្យវាសកម្មតាមពាក្យបញ្ជា។ វាថែមទាំងអាចធ្វើស្វ័យប្រវត្តិកម្មភារកិច្ចធម្មតាដែលត្រូវការការស្កេនដែលមើលឃើញ (ឧទាហរណ៍ ការទាញយកព័ត៌មានជាក់លាក់ពីកម្មវិធីជារៀងរាល់ថ្ងៃ) និងបង្ហាញលទ្ធផលតាមរបៀបដែលអាចចូលដំណើរការបាន។

សម្រាប់មនុស្សដែលមានពិការភាពខាងការយល់ដឹង៖ ដំណើរការច្រើនជំហាន ឬការរុករកម៉ឺនុយដែលមិនធ្លាប់ស្គាល់អាចជារឿងលើសលប់។ AI អាចដើរតួជាជំនួយការឆ្លាតវៃ។ វាយល់ពីគោលដៅរបស់អ្នកប្រើប្រាស់ ("ខ្ញុំចង់បង់វិក្កយបត្ររបស់ខ្ញុំ") និងអនុវត្តជំហានចាំបាច់ - ការបើកកម្មវិធីត្រឹមត្រូវ ការរុករកទៅកាន់ផ្នែកទូទាត់ ការបំពេញទិន្នន័យដែលគេស្គាល់ - ដោយឯករាជ្យ ឬមានអន្តរកម្មតិចតួចបំផុត។ វាកាត់បន្ថយភាពស្មុគស្មាញ កាត់បន្ថយកំហុសដែលអាចកើតមាន និងលើកកម្ពស់ឯករាជ្យភាពក្នុងកិច្ចការឌីជីថលប្រចាំថ្ងៃ។

នេះគឺច្រើនជាងស្វ័យប្រវត្តិកម្មសាមញ្ញ។ វាមិនមែននិយាយអំពីការរាប់ការចុចទេ។ គោលដៅគឺសម្រាប់ AI ដើម្បីយល់ពីបរិបទ បកស្រាយចេតនារបស់អ្នកប្រើប្រាស់ និងធ្វើសកម្មភាពដោយចេតនាដើម្បីយកឈ្នះលើឧបសគ្គ។ វារៀន សម្របខ្លួន និងអនុញ្ញាតឱ្យមានអន្តរកម្មដែលសមស្របទៅនឹងសមត្ថភាព និងតម្រូវការរបស់បុគ្គលម្នាក់ៗ។

សកម្មភាពអេក្រង់ដែលដំណើរការដោយ AI ទាំងនេះមិនមែនជាមុខងារ "ល្អក្នុងការមាន" ឬភាពងាយស្រួលនោះទេ។ ជារឿយៗពួកវាជាមធ្យោបាយតែមួយគត់សម្រាប់មនុស្សដែលមានពិការភាពជាក់លាក់ក្នុងការប្រើប្រាស់ឧបករណ៍ឌីជីថលប្រកបដោយប្រសិទ្ធភាព និងឯករាជ្យ។ ពួកវាមានន័យថាការទទួលបានការអប់រំ ការងារ ទំនាក់ទំនងសង្គម និងសេវាកម្មសំខាន់ៗ។ ពួកវាជាគន្លឹះក្នុងការដាក់បញ្ចូលឌីជីថល និងឱកាសស្មើភាពគ្នា។

ដូច្នេះ ការអភិវឌ្ឍ និងការប្រើប្រាស់ AI ដែលមានទំនួលខុសត្រូវដែលអនុវត្តសកម្មភាពដោយផ្ទាល់នៅលើអេក្រង់គឺជាជំហានដ៏សំខាន់មួយឆ្ពោះទៅរកពិភពឌីជីថលដែលអាចចូលដំណើរការបានយ៉ាងពិតប្រាកដ ដែលមិនទុកនរណាម្នាក់នៅពីក្រោយ។ វាគឺជាដៃមើលមិនឃើញដែលបើកទ្វារនៅកន្លែងដែលធ្លាប់មានជញ្ជាំង។

**កម្មវិធីនេះប្រើ AccessibilityService API**

អនុញ្ញាតឱ្យកម្មវិធីណាមួយត្រូវបានដំណើរការដោយ Screen Operator។ សម្រាប់បញ្ហានេះ គំរូចក្ខុវិស័យទទួលបានគំរូសំឡេង និងសារប្រព័ន្ធដែលមានពាក្យបញ្ជាសម្រាប់ប្រើប្រាស់ស្មាតហ្វូន។ គំរូភាសាឆ្លើយតបជាមួយនឹងពាក្យបញ្ជាដែលត្រូវគ្នា ដែលបន្ទាប់មកត្រូវបានប្រតិបត្តិដោយកម្មវិធីនេះ។ កម្មវិធីនេះក៏អាចភ្ជាប់ទៅ Termux និងប្រតិបត្តិពាក្យបញ្ជានៅទីនោះផងដែរ។

បន្ទាប់ពីការអាប់ដេតនីមួយៗ សូមចុច "ស្តារសារប្រព័ន្ធ" ដើម្បីចូលប្រើឧបករណ៍ថ្មីៗ។

ទទួលបានព័ត៌មានថ្មីៗលឿនជាងមុនតាមរយៈ GitHub៖ https://github.com/Android-PowerUser/ScreenOperator

អ្វី​ដែល​ថ្មី

• There is a download progress for the first app start
• Notification instead of overlay for Samsung
• More things can be updated without release.