Screen Operator - AI Agent
Alkalmazáson belüli vásárlások
Korhatár nélküli
info
100+
letöltés
Az alkalmazásról
**Ez az alkalmazás az AccessibilityService API-t használja**
Ez az intelligens képernyővezérlés forradalmi változást hoz az akadálymentesítés terén.
Sokunk számára az okostelefon a világ kapuja – az információ, a kommunikáció, a munka és a részvétel felé. De több millió fizikai, vizuális vagy kognitív fogyatékossággal élő ember számára ezeknek a látszólag intuitív eszközöknek a használata mindennapi akadályt jelenthet. Az összetett gesztusok, a kis gombok, a zsúfolt felületek és a modern alkalmazások sebessége digitális szakadékot teremt, ami elszigeteltséget jelent a befogadás helyett.
Itt a mesterséges intelligencia (MI) nemcsak asszisztensként, hanem valódi támogatóként is működik.
Képzeljük el:
Egy súlyosan korlátozott motoros képességekkel rendelkező személy számára: Az apró gombok pontos megérintése vagy az összetett húzómozdulatok gyakran lehetetlenek vagy rendkívül fárasztóak. A MI átveheti ezeket a műveleteket. Elemzi a képernyőt, felismeri a célt (pl. a "küldés" gombot), és egy egyszerű parancsra (hang, fejmozgás, egyetlen billentyűleütés) pontosan végrehajtja a műveletet. Egy frusztráló feladatot zökkenőmentes folyamattá alakít, és lehetővé teszi olyan alkalmazások használatát, amelyek egyébként elérhetetlenek maradnának. Látássérült személyek számára: Míg a képernyőolvasók képesek felolvasni a szöveget, gyakran nehezen boldogulnak a feliratozatlan grafikákkal vagy az összetett elrendezésekkel. A mesterséges intelligencia megérti a vizuális kontextust. Képes azonosítani az elemeket ("a logó jobb oldalán található gomb"), és parancsra aktiválni azokat. Akár a vizuális beolvasást igénylő rutinfeladatokat is képes teljesen automatizálni (pl. napi rendszerességgel adott információk lekérése egy alkalmazásból), és az eredményeket könnyen hozzáférhető módon megjeleníteni.
Kognitív károsodásban szenvedő személyek számára: A többlépéses folyamatok vagy az ismeretlen menükben való navigálás túlterhelő lehet. A mesterséges intelligencia intelligens asszisztensként működhet. Megérti a felhasználó célját ("Be akarom fizetni a számlámat"), és elvégzi a szükséges lépéseket – megnyitja a megfelelő alkalmazást, navigál a fizetési részhez, kitölti az ismert adatokat – önállóan vagy minimális interakcióval. Csökkenti a bonyolultságot, minimalizálja a lehetséges hibákat, és elősegíti a függetlenséget a mindennapi digitális feladatokban.
Ez sokkal több, mint egyszerű automatizálás. Nem a kattintások számlálásáról van szó. A cél az, hogy a mesterséges intelligencia megértse a kontextust, értelmezze a felhasználó szándékát, és céltudatosan cselekedjen az akadályok leküzdése érdekében. Tanul, alkalmazkodik és lehetővé teszi az egyéni képességekhez és igényekhez igazított interakciót.
Ezek a mesterséges intelligencia által vezérelt képernyőműveletek nem „jó, ha van” vagy kényelmi funkciók. Gyakran ezek az egyetlen módja annak, hogy bizonyos fogyatékossággal élő emberek hatékonyan és önállóan használják a digitális eszközöket. Hozzáférést jelentenek az oktatáshoz, a munkához, a társadalmi kapcsolatokhoz és az alapvető szolgáltatásokhoz. Kulcsfontosságúak a digitális befogadáshoz és az esélyegyenlőséghez.
Ezért a közvetlenül a képernyőn műveleteket végrehajtó mesterséges intelligencia fejlesztése és felelősségteljes használata kulcsfontosságú lépés egy valóban hozzáférhető digitális világ felé, amely senkit sem hagy magára. Ez a láthatatlan kéz nyitja meg az ajtókat ott, ahol valaha falak voltak.
**Ez az alkalmazás az AccessibilityService API-t használja**
Bármely alkalmazást a Screen Operator kezelhet. Ehhez a látásmodellek beszédmodelleket és egy rendszerüzenetet kapnak, amely az okostelefon használatára vonatkozó parancsokat tartalmazza. A nyelvi modellek a megfelelő parancsokkal válaszolnak, amelyeket aztán ez az alkalmazás végrehajt. Ez az alkalmazás a Termuxhoz is csatlakozhat, és ott parancsokat hajthat végre.
Minden frissítés után kattintson a „Rendszerüzenet visszaállítása” gombra az új eszközök eléréséhez.
Gyorsabb frissítések a GitHubon keresztül: https://github.com/Android-PowerUser/ScreenOperator
Ez az intelligens képernyővezérlés forradalmi változást hoz az akadálymentesítés terén.
Sokunk számára az okostelefon a világ kapuja – az információ, a kommunikáció, a munka és a részvétel felé. De több millió fizikai, vizuális vagy kognitív fogyatékossággal élő ember számára ezeknek a látszólag intuitív eszközöknek a használata mindennapi akadályt jelenthet. Az összetett gesztusok, a kis gombok, a zsúfolt felületek és a modern alkalmazások sebessége digitális szakadékot teremt, ami elszigeteltséget jelent a befogadás helyett.
Itt a mesterséges intelligencia (MI) nemcsak asszisztensként, hanem valódi támogatóként is működik.
Képzeljük el:
Egy súlyosan korlátozott motoros képességekkel rendelkező személy számára: Az apró gombok pontos megérintése vagy az összetett húzómozdulatok gyakran lehetetlenek vagy rendkívül fárasztóak. A MI átveheti ezeket a műveleteket. Elemzi a képernyőt, felismeri a célt (pl. a "küldés" gombot), és egy egyszerű parancsra (hang, fejmozgás, egyetlen billentyűleütés) pontosan végrehajtja a műveletet. Egy frusztráló feladatot zökkenőmentes folyamattá alakít, és lehetővé teszi olyan alkalmazások használatát, amelyek egyébként elérhetetlenek maradnának. Látássérült személyek számára: Míg a képernyőolvasók képesek felolvasni a szöveget, gyakran nehezen boldogulnak a feliratozatlan grafikákkal vagy az összetett elrendezésekkel. A mesterséges intelligencia megérti a vizuális kontextust. Képes azonosítani az elemeket ("a logó jobb oldalán található gomb"), és parancsra aktiválni azokat. Akár a vizuális beolvasást igénylő rutinfeladatokat is képes teljesen automatizálni (pl. napi rendszerességgel adott információk lekérése egy alkalmazásból), és az eredményeket könnyen hozzáférhető módon megjeleníteni.
Kognitív károsodásban szenvedő személyek számára: A többlépéses folyamatok vagy az ismeretlen menükben való navigálás túlterhelő lehet. A mesterséges intelligencia intelligens asszisztensként működhet. Megérti a felhasználó célját ("Be akarom fizetni a számlámat"), és elvégzi a szükséges lépéseket – megnyitja a megfelelő alkalmazást, navigál a fizetési részhez, kitölti az ismert adatokat – önállóan vagy minimális interakcióval. Csökkenti a bonyolultságot, minimalizálja a lehetséges hibákat, és elősegíti a függetlenséget a mindennapi digitális feladatokban.
Ez sokkal több, mint egyszerű automatizálás. Nem a kattintások számlálásáról van szó. A cél az, hogy a mesterséges intelligencia megértse a kontextust, értelmezze a felhasználó szándékát, és céltudatosan cselekedjen az akadályok leküzdése érdekében. Tanul, alkalmazkodik és lehetővé teszi az egyéni képességekhez és igényekhez igazított interakciót.
Ezek a mesterséges intelligencia által vezérelt képernyőműveletek nem „jó, ha van” vagy kényelmi funkciók. Gyakran ezek az egyetlen módja annak, hogy bizonyos fogyatékossággal élő emberek hatékonyan és önállóan használják a digitális eszközöket. Hozzáférést jelentenek az oktatáshoz, a munkához, a társadalmi kapcsolatokhoz és az alapvető szolgáltatásokhoz. Kulcsfontosságúak a digitális befogadáshoz és az esélyegyenlőséghez.
Ezért a közvetlenül a képernyőn műveleteket végrehajtó mesterséges intelligencia fejlesztése és felelősségteljes használata kulcsfontosságú lépés egy valóban hozzáférhető digitális világ felé, amely senkit sem hagy magára. Ez a láthatatlan kéz nyitja meg az ajtókat ott, ahol valaha falak voltak.
**Ez az alkalmazás az AccessibilityService API-t használja**
Bármely alkalmazást a Screen Operator kezelhet. Ehhez a látásmodellek beszédmodelleket és egy rendszerüzenetet kapnak, amely az okostelefon használatára vonatkozó parancsokat tartalmazza. A nyelvi modellek a megfelelő parancsokkal válaszolnak, amelyeket aztán ez az alkalmazás végrehajt. Ez az alkalmazás a Termuxhoz is csatlakozhat, és ott parancsokat hajthat végre.
Minden frissítés után kattintson a „Rendszerüzenet visszaállítása” gombra az új eszközök eléréséhez.
Gyorsabb frissítések a GitHubon keresztül: https://github.com/Android-PowerUser/ScreenOperator
Automatikusan működteti a képernyőt vision LLM-ekkel
Frissítve:
A biztonság annak megértésével kezdődik, hogy miként gyűjtik és osztják meg a fejlesztők az adataidat. Az adatvédelemmel és -biztonsággal kapcsolatos gyakorlat a használattól, a régiótól és életkortól függően változhat. A fejlesztő adta meg ezeket az információkat, és idővel frissítheti őket.
- Nem osztanak meg adatokat harmadik felekkelTovábbi információ arról, hogy miként deklarálják a fejlesztők a megosztást
- Nem történt adatgyűjtésTovábbi információ arról, hogy miként deklarálják a fejlesztők a gyűjtést
Újdonságok
Gesture recognition does not stop on its own
Alkalmazás támogatása
A fejlesztőről
Vicco Matthias Exner
Android_PowerUser@10minmail.de
Hasenheide 21
21365 Adendorf
Germany
