**Ši programėlė naudoja „AccessibilityService“ API**
Šis išmanus ekrano valdymas yra prieinamumo revoliucija.
Daugeliui iš mūsų išmanusis telefonas yra vartai į pasaulį – informacijai, bendravimui, darbui ir dalyvavimui. Tačiau milijonams žmonių, turinčių fizinių, regos ar kognityvinių sutrikimų, šių, atrodytų, intuityvių įrenginių naudojimas gali tapti kasdiene kliūtimi. Sudėtingi gestai, maži mygtukai, netvarkingos sąsajos ir didžiulis šiuolaikinių programėlių greitis sukuria skaitmeninę atskirtį, kuri reiškia izoliaciją, o ne įtrauktį.
Čia dirbtinis intelektas (DI) veikia ne tik kaip asistentas, bet ir kaip tikras įgalintojas.
Įsivaizduokite:
Žmogui, turinčiam labai ribotus motorinius įgūdžius: tikslūs bakstelėjimai ant mažyčių mygtukų arba sudėtingi braukimo gestai dažnai yra neįmanomi arba labai varginantys. DI gali perimti šiuos veiksmus. Jis analizuoja ekraną, atpažįsta taikinį (pvz., mygtuką „siųsti“) ir tiksliai atlieka veiksmą, reaguodamas į paprastą komandą (balsą, galvos judesį, vieną klavišo paspaudimą). Jis paverčia varginančią užduotį sklandžiu procesu ir leidžia naudoti programėles, kurios kitaip liktų nepasiekiamos. Regos sutrikimų turinčiam asmeniui: Nors ekrano skaitytuvai gali garsiai skaityti tekstą, jiems dažnai sunku susidoroti su nepažymėta grafika ar sudėtingais išdėstymais. Dirbtinis intelektas gali suprasti vaizdinį kontekstą. Jis gali atpažinti elementus („mygtukas dešinėje nuo logotipo“) ir aktyvuoti juos pagal komandą. Jis netgi gali visiškai automatizuoti įprastas užduotis, kurioms reikalingas vizualinis nuskaitymas (pvz., kasdien gauti konkrečią informaciją iš programėlės), ir pateikti rezultatus prieinamu būdu.
Kognybinių sutrikimų turinčiam asmeniui: Daugiapakopiai procesai arba naršymas nepažįstamuose meniu gali būti varginantis. Dirbtinis intelektas gali veikti kaip išmanus asistentas. Jis supranta vartotojo tikslą („Noriu apmokėti sąskaitą“) ir atlieka reikiamus veiksmus – atidaro tinkamą programėlę, pereina į mokėjimo skyrių, užpildo žinomus duomenis – savarankiškai arba minimaliai sąveikaudamas. Jis sumažina sudėtingumą, sumažina galimas klaidas ir skatina savarankiškumą atliekant kasdienes skaitmenines užduotis.
Tai daug daugiau nei paprasta automatizacija. Tai ne paspaudimų skaičiavimas. Tikslas – kad dirbtinis intelektas suprastų kontekstą, interpretuotų vartotojo ketinimus ir veiktų tikslingai, kad įveiktų kliūtis. Jis mokosi, prisitaiko ir įgalina sąveiką, pritaikytą individualiems gebėjimams ir poreikiams.
Šie dirbtinio intelekto valdomi ekrano veiksmai nėra „malonu turėti“ ar patogi funkcija. Jie dažnai yra vienintelis būdas žmonėms su tam tikra negalia efektyviai ir savarankiškai naudoti skaitmeninius įrankius. Tai reiškia prieigą prie švietimo, darbo, socialinių ryšių ir esminių paslaugų. Jie yra raktas į skaitmeninę įtrauktį ir lygias galimybes.
Todėl dirbtinio intelekto, kuris atlieka veiksmus tiesiogiai ekrane, kūrimas ir atsakingas naudojimas yra esminis žingsnis link tikrai prieinamo skaitmeninio pasaulio, kuriame niekas nepaliekamas nuošalyje. Tai nematoma ranka, atverianti duris ten, kur kadaise buvo sienos.
**Ši programa naudoja „AccessibilityService“ API**
Leiskite bet kurią programą valdyti „Screen Operator“. Tam regos modeliai gauna kalbos modelius ir sistemos pranešimą su komandomis, kaip naudoti išmanųjį telefoną. Kalbos modeliai atsako atitinkamomis komandomis, kurias vėliau vykdo ši programa. Ši programa taip pat gali prisijungti prie „Termux“ ir ten vykdyti komandas.
Po kiekvieno atnaujinimo spustelėkite „Atkurti sistemos pranešimą“, kad pasiektumėte naujus įrankius.
Gaukite greitesnius atnaujinimus per „GitHub“: https://github.com/Android-PowerUser/ScreenOperator
Automatiškai valdo ekraną su vision LLM