Screen Operator - AI Agent

Android PowerUser

Қолданба арқылы сатып алу

Осы қолданба туралы

**Бұл қолданба AccessibilityService API интерфейсін пайдаланады**

Бұл ақылды экранды басқару қолжетімділік үшін төңкеріс болып табылады.

Көпшілігіміз үшін смартфон ақпарат, байланыс, жұмыс және қатысу үшін әлемге апаратын қақпа болып табылады. Бірақ физикалық, көру немесе когнитивтік бұзылулары бар миллиондаған адамдар үшін бұл интуитивті болып көрінетін құрылғыларды пайдалану күнделікті кедергіге айналуы мүмкін. Күрделі қимылдар, кішкентай түймелер, ретсіз интерфейстер және заманауи қолданбалардың жылдамдығы инклюзияның орнына оқшаулануды білдіретін сандық алшақтықты тудырады.

Міне, осы жерде жасанды интеллект (ЖИ) тек көмекші ретінде ғана емес, сонымен қатар нағыз мүмкіндік беруші ретінде де әрекет етеді.

Есіңізде болсын:

Қозғалтқыш дағдылары өте шектеулі адам үшін: Кішкентай түймелерді дәл басу немесе күрделі сырғыту қимылдары көбінесе мүмкін емес немесе өте шаршататын. ЖИ бұл әрекеттерді өз мойнына ала алады. Ол экранды талдайды, нысананы таниды (мысалы, "жіберу" түймесі) және қарапайым пәрменге (дауыс, бас қозғалысы, бір перне басу) жауап ретінде әрекетті дәл орындайды. Ол қиын тапсырманы үздіксіз процеске айналдырады және басқаша қол жетімсіз болып қалатын қолданбаларды пайдалануға мүмкіндік береді. Көру қабілеті бұзылған адам үшін: Экран оқу құралдары мәтінді дауыстап оқи алса да, олар көбінесе белгісіз графикамен немесе күрделі орналасулармен қиналады. Жасанды интеллект визуалды контекстті түсіне алады. Ол элементтерді («логотиптің оң жағындағы түйме») анықтап, оларды команда бойынша іске қоса алады. Ол тіпті визуалды сканерлеуді қажет ететін күнделікті тапсырмаларды (мысалы, күнделікті қолданбадан нақты ақпаратты алу) толығымен автоматтандырып, нәтижелерді қолжетімді түрде көрсете алады.

Когнитивті бұзылулары бар адам үшін: Көп сатылы процестер немесе таныс емес мәзірлерде шарлау қиын болуы мүмкін. Жасанды интеллект интеллектуалды көмекші ретінде әрекет ете алады. Ол пайдаланушының мақсатын («Мен шотымды төлегім келеді») түсінеді және қажетті қадамдарды орындайды — дұрыс қолданбаны ашу, төлем бөліміне өту, белгілі деректерді толтыру — дербес немесе минималды өзара әрекеттесумен. Ол күрделілікті азайтады, ықтимал қателерді азайтады және күнделікті сандық тапсырмаларда тәуелсіздікті арттырады.

Бұл қарапайым автоматтандырудан әлдеқайда көп нәрсе. Бұл шертулерді санау туралы емес. Мақсат - жасанды интеллект контекстті түсіну, пайдаланушының ниетін түсіндіру және кедергілерді жеңу үшін мақсатты түрде әрекет ету. Ол жеке қабілеттер мен қажеттіліктерге бейімделген өзара әрекеттесуді үйренеді, бейімдейді және мүмкіндік береді.

Бұл жасанды интеллектпен жұмыс істейтін экран әрекеттері «жақсы» немесе ыңғайлылық функциясы емес. Олар көбінесе белгілі бір мүгедектігі бар адамдар үшін сандық құралдарды тиімді және тәуелсіз пайдаланудың жалғыз жолы болып табылады. Олар білім алуға, жұмысқа, әлеуметтік байланыстарға және маңызды қызметтерге қол жеткізуді білдіреді. Олар сандық инклюзия мен тең мүмкіндіктердің кілті болып табылады.

Сондықтан, экранда тікелей әрекеттерді орындайтын жасанды интеллектті дамыту және жауапкершілікпен пайдалану ешкімді артта қалдырмайтын шынымен қолжетімді сандық әлемге қарай маңызды қадам болып табылады. Бұл бұрын қабырғалар болған жерде есіктерді ашатын көрінбейтін қол.

**Бұл қолданба AccessibilityService API интерфейсін пайдаланады**

Кез келген қолданбаны Screen Operator басқарсын. Ол үшін көру модельдері сөйлеу модельдерін және смартфонды пайдалануға арналған командаларды қамтитын жүйелік хабарламаны алады. Тіл модельдері сәйкес командалармен жауап береді, содан кейін оларды осы қолданба орындайды. Бұл қолданба сонымен қатар Termux-қа қосылып, сол жерде командаларды орындай алады.

Әр жаңартудан кейін жаңа құралдарға қол жеткізу үшін «Жүйелік хабарламаны қалпына келтіру» түймесін басыңыз.

GitHub арқылы жылдам жаңартуларды алыңыз: https://github.com/Android-PowerUser/ScreenOperator

Жаңа функциялар

Gesture recognition does not stop on its own