Screen Operator - AI Agent
Mga in-app na pagbili
Lahat
info
100+
Mga Download
Tungkol sa app na ito
**Ginagamit ng app na ito ang AccessibilityService API**
Ang matalinong pagkontrol sa screen na ito ay isang rebolusyon para sa accessibility.
Para sa marami sa atin, ang smartphone ay isang daan patungo sa mundo – para sa impormasyon, komunikasyon, trabaho, at pakikilahok. Ngunit para sa milyun-milyong tao na may pisikal, biswal, o cognitive na kapansanan, ang paggamit ng mga tila madaling gamiting device na ito ay maaaring maging isang pang-araw-araw na balakid. Ang mga kumplikadong kilos, maliliit na buton, magulong interface, at ang napakabilis na bilis ng mga modernong app ay lumilikha ng isang digital divide na nangangahulugan ng paghihiwalay sa halip na pagsasama.
Dito kumikilos ang artificial intelligence (AI) hindi lamang bilang isang katulong, kundi bilang isang tunay na tagapag-encourage.
Isipin:
Para sa isang taong may lubhang limitadong mga kasanayan sa motor: Ang mga tumpak na pag-tap sa maliliit na buton o mga kumplikadong kilos ng pag-swipe ay kadalasang imposible o lubhang nakakapagod. Maaaring pangasiwaan ng AI ang mga aksyon na ito. Sinusuri nito ang screen, kinikilala ang target (hal., ang "send") button, at isinasagawa ang aksyon nang tumpak bilang tugon sa isang simpleng utos (boses, paggalaw ng ulo, isang keystroke). Binabago nito ang isang nakakadismayang gawain sa isang walang putol na proseso at nagbibigay-daan sa paggamit ng mga app na kung hindi man ay mananatiling hindi maa-access. Para sa isang taong may kapansanan sa paningin: Bagama't kayang basahin nang malakas ng mga screen reader ang teksto, kadalasan ay nahihirapan sila sa mga walang label na graphics o mga kumplikadong layout. Nauunawaan ng AI ang kontekstong biswal. Matutukoy nito ang mga elemento ("ang button sa kanan ng logo") at i-activate ang mga ito kapag inutos. Maaari pa nga nitong ganap na i-automate ang mga karaniwang gawain na nangangailangan ng visual scanning (hal., pagkuha ng mga partikular na impormasyon mula sa isang app araw-araw) at ipakita ang mga resulta sa isang madaling maunawaang paraan.
Para sa isang taong may kapansanan sa pag-iisip: Ang mga prosesong may maraming hakbang o pag-navigate sa mga hindi pamilyar na menu ay maaaring maging nakakapagod. Ang AI ay maaaring kumilos bilang isang matalinong katulong. Nauunawaan nito ang layunin ng user ("Gusto kong bayaran ang aking bill") at isinasagawa ang mga kinakailangang hakbang—pagbubukas ng tamang app, pag-navigate sa seksyon ng pagbabayad, pagpuno ng kilalang data—nang nakapag-iisa o may kaunting interaksyon. Binabawasan nito ang pagiging kumplikado, binabawasan ang mga potensyal na error, at nagtataguyod ng kalayaan sa pang-araw-araw na mga digital na gawain.
Higit pa ito sa simpleng automation. Hindi ito tungkol sa pagbibilang ng mga pag-click. Ang layunin ay para maunawaan ng AI ang konteksto, bigyang-kahulugan ang layunin ng user, at kumilos nang may layunin upang malampasan ang mga hadlang. Natututo, umaangkop, at nagbibigay-daan ito sa pakikipag-ugnayan na iniayon sa mga indibidwal na kakayahan at pangangailangan.
Ang mga aksyon sa screen na pinapagana ng AI na ito ay hindi isang "masarap magkaroon" o isang tampok na pangkaginhawaan. Kadalasan, ang mga ito ang tanging paraan para magamit ng mga taong may ilang mga kapansanan ang mga digital na tool nang epektibo at nang nakapag-iisa. Nangangahulugan ito ng access sa edukasyon, trabaho, mga koneksyon sa lipunan, at mahahalagang serbisyo. Ang mga ito ay susi sa digital na pagsasama at pantay na mga pagkakataon.
Samakatuwid, ang pagbuo at responsableng paggamit ng AI na direktang nagsasagawa ng mga aksyon sa screen ay isang mahalagang hakbang tungo sa isang tunay na naa-access na digital na mundo na walang iniiwan. Ito ang hindi nakikitang kamay na nagbubukas ng mga pinto kung saan dating may mga pader.
**Ginagamit ng app na ito ang AccessibilityService API**
Hayaang patakbuhin ang anumang app ng Screen Operator. Para dito, ang mga modelo ng paningin ay tumatanggap ng mga modelo ng pagsasalita at isang mensahe ng system na naglalaman ng mga utos para sa paggamit ng smartphone. Ang mga modelo ng wika ay tumutugon gamit ang mga kaukulang utos, na pagkatapos ay isinasagawa ng app na ito. Maaari ring kumonekta ang app na ito sa Termux at magsagawa ng mga utos doon.
Pagkatapos ng bawat pag-update, i-click ang "Ibalik ang Mensahe ng System" upang ma-access ang mga bagong tool.
Kumuha ng mas mabilis na mga update sa pamamagitan ng GitHub: https://github.com/Android-PowerUser/ScreenOperator
Ang matalinong pagkontrol sa screen na ito ay isang rebolusyon para sa accessibility.
Para sa marami sa atin, ang smartphone ay isang daan patungo sa mundo – para sa impormasyon, komunikasyon, trabaho, at pakikilahok. Ngunit para sa milyun-milyong tao na may pisikal, biswal, o cognitive na kapansanan, ang paggamit ng mga tila madaling gamiting device na ito ay maaaring maging isang pang-araw-araw na balakid. Ang mga kumplikadong kilos, maliliit na buton, magulong interface, at ang napakabilis na bilis ng mga modernong app ay lumilikha ng isang digital divide na nangangahulugan ng paghihiwalay sa halip na pagsasama.
Dito kumikilos ang artificial intelligence (AI) hindi lamang bilang isang katulong, kundi bilang isang tunay na tagapag-encourage.
Isipin:
Para sa isang taong may lubhang limitadong mga kasanayan sa motor: Ang mga tumpak na pag-tap sa maliliit na buton o mga kumplikadong kilos ng pag-swipe ay kadalasang imposible o lubhang nakakapagod. Maaaring pangasiwaan ng AI ang mga aksyon na ito. Sinusuri nito ang screen, kinikilala ang target (hal., ang "send") button, at isinasagawa ang aksyon nang tumpak bilang tugon sa isang simpleng utos (boses, paggalaw ng ulo, isang keystroke). Binabago nito ang isang nakakadismayang gawain sa isang walang putol na proseso at nagbibigay-daan sa paggamit ng mga app na kung hindi man ay mananatiling hindi maa-access. Para sa isang taong may kapansanan sa paningin: Bagama't kayang basahin nang malakas ng mga screen reader ang teksto, kadalasan ay nahihirapan sila sa mga walang label na graphics o mga kumplikadong layout. Nauunawaan ng AI ang kontekstong biswal. Matutukoy nito ang mga elemento ("ang button sa kanan ng logo") at i-activate ang mga ito kapag inutos. Maaari pa nga nitong ganap na i-automate ang mga karaniwang gawain na nangangailangan ng visual scanning (hal., pagkuha ng mga partikular na impormasyon mula sa isang app araw-araw) at ipakita ang mga resulta sa isang madaling maunawaang paraan.
Para sa isang taong may kapansanan sa pag-iisip: Ang mga prosesong may maraming hakbang o pag-navigate sa mga hindi pamilyar na menu ay maaaring maging nakakapagod. Ang AI ay maaaring kumilos bilang isang matalinong katulong. Nauunawaan nito ang layunin ng user ("Gusto kong bayaran ang aking bill") at isinasagawa ang mga kinakailangang hakbang—pagbubukas ng tamang app, pag-navigate sa seksyon ng pagbabayad, pagpuno ng kilalang data—nang nakapag-iisa o may kaunting interaksyon. Binabawasan nito ang pagiging kumplikado, binabawasan ang mga potensyal na error, at nagtataguyod ng kalayaan sa pang-araw-araw na mga digital na gawain.
Higit pa ito sa simpleng automation. Hindi ito tungkol sa pagbibilang ng mga pag-click. Ang layunin ay para maunawaan ng AI ang konteksto, bigyang-kahulugan ang layunin ng user, at kumilos nang may layunin upang malampasan ang mga hadlang. Natututo, umaangkop, at nagbibigay-daan ito sa pakikipag-ugnayan na iniayon sa mga indibidwal na kakayahan at pangangailangan.
Ang mga aksyon sa screen na pinapagana ng AI na ito ay hindi isang "masarap magkaroon" o isang tampok na pangkaginhawaan. Kadalasan, ang mga ito ang tanging paraan para magamit ng mga taong may ilang mga kapansanan ang mga digital na tool nang epektibo at nang nakapag-iisa. Nangangahulugan ito ng access sa edukasyon, trabaho, mga koneksyon sa lipunan, at mahahalagang serbisyo. Ang mga ito ay susi sa digital na pagsasama at pantay na mga pagkakataon.
Samakatuwid, ang pagbuo at responsableng paggamit ng AI na direktang nagsasagawa ng mga aksyon sa screen ay isang mahalagang hakbang tungo sa isang tunay na naa-access na digital na mundo na walang iniiwan. Ito ang hindi nakikitang kamay na nagbubukas ng mga pinto kung saan dating may mga pader.
**Ginagamit ng app na ito ang AccessibilityService API**
Hayaang patakbuhin ang anumang app ng Screen Operator. Para dito, ang mga modelo ng paningin ay tumatanggap ng mga modelo ng pagsasalita at isang mensahe ng system na naglalaman ng mga utos para sa paggamit ng smartphone. Ang mga modelo ng wika ay tumutugon gamit ang mga kaukulang utos, na pagkatapos ay isinasagawa ng app na ito. Maaari ring kumonekta ang app na ito sa Termux at magsagawa ng mga utos doon.
Pagkatapos ng bawat pag-update, i-click ang "Ibalik ang Mensahe ng System" upang ma-access ang mga bagong tool.
Kumuha ng mas mabilis na mga update sa pamamagitan ng GitHub: https://github.com/Android-PowerUser/ScreenOperator
Awtomatikong pinapatakbo ang screen gamit ang mga LLM ng paningin
Na-update noong
Nagsisimula ang kaligtasan sa pag-unawa kung paano kinokolekta at ibinabahagi ng mga developer ang iyong data. Posibleng mag-iba ang mga kagawian sa privacy at seguridad ng data batay sa iyong paggamit, rehiyon, at edad. Ang developer ang nagbigay ng impormasyong ito at posibleng i-update niya ito sa paglipas ng panahon.
Ano'ng bago
• There is a download progress for the first app start
• Notification instead of overlay for Samsung
• More things can be updated without release.
• Notification instead of overlay for Samsung
• More things can be updated without release.
Suporta sa app
Tungkol sa developer
Vicco Matthias Exner
Android_PowerUser@10minmail.de
Hasenheide 21
21365 Adendorf
Germany
