Screen Operator - AI Agent
යෙදුම-තුළ මිලදී ගැනීම්
සියලුදෙනටාම
info
100+
බාගැනීම්
මෙම යෙදුම ගැන
**මෙම යෙදුම AccessibilityService API භාවිතා කරයි**
මෙම බුද්ධිමත් තිර පාලනය ප්‍රවේශ්‍යතාව සඳහා විප්ලවයකි.
අපෙන් බොහෝ දෙනෙකුට, ස්මාර්ට් ජංගම දුරකථනය ලෝකයට පිවිසෙන දොරටුවකි - තොරතුරු, සන්නිවේදනය, වැඩ සහ සහභාගීත්වය සඳහා. නමුත් භෞතික, දෘශ්‍ය හෝ සංජානන දුර්වලතා ඇති මිලියන සංඛ්‍යාත පුද්ගලයින්ට, මෙම පෙනෙන පරිදි බුද්ධිමය උපාංග භාවිතා කිරීම දිනපතා බාධාවක් බවට පත්විය හැකිය. සංකීර්ණ අභිනයන්, කුඩා බොත්තම්, අවුල් සහගත අතුරුමුහුණත් සහ නවීන යෙදුම්වල දැඩි වේගය ඇතුළත් කිරීම වෙනුවට හුදකලා වීම යන අර්ථයෙන් ඩිජිටල් බෙදීමක් නිර්මාණය කරයි.
මෙහිදී කෘතිම බුද්ධිය (AI) සහායකයෙකු ලෙස පමණක් නොව සැබෑ සක්‍රීය කරන්නෙකු ලෙස ක්‍රියා කරයි.
සිතන්න:
දැඩි ලෙස සීමිත මෝටර් කුසලතා ඇති පුද්ගලයෙකුට: කුඩා බොත්තම් මත නිශ්චිත තට්ටු කිරීම් හෝ සංකීර්ණ ස්වයිප් අභිනයන් බොහෝ විට කළ නොහැකි හෝ අතිශයින් වෙහෙසකර වේ. AI හට මෙම ක්‍රියාවන් භාර ගත හැකිය. එය තිරය විශ්ලේෂණය කරයි, ඉලක්කය හඳුනා ගනී (උදා: "යවන්න" බොත්තම), සහ සරල විධානයකට (හඬ, හිස චලනය, තනි යතුරු පහරක්) ප්‍රතිචාර වශයෙන් ක්‍රියාව හරියටම ක්‍රියාත්මක කරයි. එය කලකිරීමට පත් කරන කාර්යයක් බාධාවකින් තොරව ක්‍රියාවලියක් බවට පරිවර්තනය කරන අතර එසේ නොමැතිනම් ප්‍රවේශ විය නොහැකි යෙදුම් භාවිතය සක්‍රීය කරයි. දෘශ්‍යාබාධිත පුද්ගලයෙකු සඳහා: තිර කියවන්නන්ට පෙළ ශබ්ද නඟා කියවිය හැකි වුවද, ඔවුන් බොහෝ විට ලේබල් නොකළ ග්‍රැෆික්ස් හෝ සංකීර්ණ පිරිසැලසුම් සමඟ අරගල කරයි. AI හට දෘශ්‍ය සන්දර්භය තේරුම් ගත හැකිය. එයට මූලද්‍රව්‍ය ("ලාංඡනයේ දකුණු පස ඇති බොත්තම") හඳුනාගෙන ඒවා විධානය මත සක්‍රිය කළ හැකිය. දෘශ්‍ය ස්කෑන් කිරීම අවශ්‍ය වන සාමාන්‍ය කාර්යයන් පවා එයට සම්පූර්ණයෙන්ම ස්වයංක්‍රීය කළ හැකිය (උදා: යෙදුමකින් දිනපතා නිශ්චිත තොරතුරු ලබා ගැනීම) සහ ප්‍රතිඵල ප්‍රවේශ විය හැකි ආකාරයකින් ඉදිරිපත් කළ හැකිය.
සංජානන දුර්වලතා ඇති පුද්ගලයෙකුට: බහු-පියවර ක්‍රියාවලීන් හෝ නුහුරු මෙනු සැරිසැරීම අතිමහත් විය හැකිය. AI බුද්ධිමත් සහායකයෙකු ලෙස ක්‍රියා කළ හැකිය. එය පරිශීලකයාගේ ඉලක්කය තේරුම් ගනී ("මට මගේ බිල්පත ගෙවීමට අවශ්‍යයි") සහ අවශ්‍ය පියවර - නිවැරදි යෙදුම විවෘත කිරීම, ගෙවීම් අංශයට සැරිසැරීම, දන්නා දත්ත පිරවීම - ස්වාධීනව හෝ අවම අන්තර්ක්‍රියා සමඟ. එය සංකීර්ණතාව අඩු කරයි, විභව දෝෂ අවම කරයි සහ එදිනෙදා ඩිජිටල් කාර්යයන්හි ස්වාධීනත්වය ප්‍රවර්ධනය කරයි.
මෙය සරල ස්වයංක්‍රීයකරණයට වඩා බොහෝ සෙයින් වැඩි ය. එය ක්ලික් කිරීම් ගණන් කිරීම ගැන නොවේ. ඉලක්කය වන්නේ AI සන්දර්භය තේරුම් ගැනීම, පරිශීලකයාගේ අභිප්‍රාය අර්ථ නිරූපණය කිරීම සහ බාධක ජය ගැනීම සඳහා අරමුණු සහිතව ක්‍රියා කිරීමයි. එය ඉගෙන ගනී, අනුවර්තනය වේ, සහ පුද්ගල හැකියාවන් සහ අවශ්‍යතා අනුව සකස් කරන ලද අන්තර්ක්‍රියා සක්‍රීය කරයි.
මෙම AI-බලගැන්වූ තිර ක්‍රියා "ඇති කර ගැනීමට හොඳ" හෝ පහසුව සඳහා වූ විශේෂාංගයක් නොවේ. ඇතැම් ආබාධ සහිත පුද්ගලයින්ට ඩිජිටල් මෙවලම් ඵලදායී ලෙස සහ ස්වාධීනව භාවිතා කිරීමට ඇති එකම මාර්ගය ඒවා වේ. ඒවා අධ්‍යාපනය, රැකියාව, සමාජ සම්බන්ධතා සහ අත්‍යවශ්‍ය සේවාවන් සඳහා ප්‍රවේශය අදහස් කරයි. ඒවා ඩිජිටල් ඇතුළත් කිරීම සහ සමාන අවස්ථා සඳහා යතුරයි.
එබැවින්, තිරය මත සෘජුවම ක්‍රියා සිදු කරන AI සංවර්ධනය සහ වගකිවයුතු භාවිතය කිසිවෙකු පිටුපසින් නොයන සැබවින්ම ප්‍රවේශ විය හැකි ඩිජිටල් ලෝකයක් කරා යන තීරණාත්මක පියවරකි. එය වරක් බිත්ති තිබූ තැන දොරවල් විවෘත කරන අදෘශ්‍යමාන හස්තයයි.
**මෙම යෙදුම AccessibilityService API** භාවිතා කරයි
ඕනෑම යෙදුමක් Screen Operator විසින් ක්‍රියාත්මක කිරීමට ඉඩ දෙන්න. මේ සඳහා, දෘශ්‍ය ආකෘති කථන ආකෘති සහ ස්මාර්ට් ජංගම දුරකථනය භාවිතා කිරීම සඳහා විධාන අඩංගු පද්ධති පණිවිඩයක් ලබා ගනී. භාෂා ආකෘති අනුරූප විධාන සමඟ ප්‍රතිචාර දක්වන අතර, පසුව මෙම යෙදුම මඟින් ක්‍රියාත්මක වේ. මෙම යෙදුමට Termux වෙත සම්බන්ධ වී එහි විධාන ක්‍රියාත්මක කළ හැකිය.
එක් එක් යාවත්කාලීන කිරීමෙන් පසු, නව මෙවලම් වෙත ප්‍රවේශ වීමට "පද්ධති පණිවිඩය ප්‍රතිස්ථාපනය කරන්න" ක්ලික් කරන්න.
GitHub හරහා වේගවත් යාවත්කාලීන ලබා ගන්න: https://github.com/Android-PowerUser/ScreenOperator
මෙම බුද්ධිමත් තිර පාලනය ප්‍රවේශ්‍යතාව සඳහා විප්ලවයකි.
අපෙන් බොහෝ දෙනෙකුට, ස්මාර්ට් ජංගම දුරකථනය ලෝකයට පිවිසෙන දොරටුවකි - තොරතුරු, සන්නිවේදනය, වැඩ සහ සහභාගීත්වය සඳහා. නමුත් භෞතික, දෘශ්‍ය හෝ සංජානන දුර්වලතා ඇති මිලියන සංඛ්‍යාත පුද්ගලයින්ට, මෙම පෙනෙන පරිදි බුද්ධිමය උපාංග භාවිතා කිරීම දිනපතා බාධාවක් බවට පත්විය හැකිය. සංකීර්ණ අභිනයන්, කුඩා බොත්තම්, අවුල් සහගත අතුරුමුහුණත් සහ නවීන යෙදුම්වල දැඩි වේගය ඇතුළත් කිරීම වෙනුවට හුදකලා වීම යන අර්ථයෙන් ඩිජිටල් බෙදීමක් නිර්මාණය කරයි.
මෙහිදී කෘතිම බුද්ධිය (AI) සහායකයෙකු ලෙස පමණක් නොව සැබෑ සක්‍රීය කරන්නෙකු ලෙස ක්‍රියා කරයි.
සිතන්න:
දැඩි ලෙස සීමිත මෝටර් කුසලතා ඇති පුද්ගලයෙකුට: කුඩා බොත්තම් මත නිශ්චිත තට්ටු කිරීම් හෝ සංකීර්ණ ස්වයිප් අභිනයන් බොහෝ විට කළ නොහැකි හෝ අතිශයින් වෙහෙසකර වේ. AI හට මෙම ක්‍රියාවන් භාර ගත හැකිය. එය තිරය විශ්ලේෂණය කරයි, ඉලක්කය හඳුනා ගනී (උදා: "යවන්න" බොත්තම), සහ සරල විධානයකට (හඬ, හිස චලනය, තනි යතුරු පහරක්) ප්‍රතිචාර වශයෙන් ක්‍රියාව හරියටම ක්‍රියාත්මක කරයි. එය කලකිරීමට පත් කරන කාර්යයක් බාධාවකින් තොරව ක්‍රියාවලියක් බවට පරිවර්තනය කරන අතර එසේ නොමැතිනම් ප්‍රවේශ විය නොහැකි යෙදුම් භාවිතය සක්‍රීය කරයි. දෘශ්‍යාබාධිත පුද්ගලයෙකු සඳහා: තිර කියවන්නන්ට පෙළ ශබ්ද නඟා කියවිය හැකි වුවද, ඔවුන් බොහෝ විට ලේබල් නොකළ ග්‍රැෆික්ස් හෝ සංකීර්ණ පිරිසැලසුම් සමඟ අරගල කරයි. AI හට දෘශ්‍ය සන්දර්භය තේරුම් ගත හැකිය. එයට මූලද්‍රව්‍ය ("ලාංඡනයේ දකුණු පස ඇති බොත්තම") හඳුනාගෙන ඒවා විධානය මත සක්‍රිය කළ හැකිය. දෘශ්‍ය ස්කෑන් කිරීම අවශ්‍ය වන සාමාන්‍ය කාර්යයන් පවා එයට සම්පූර්ණයෙන්ම ස්වයංක්‍රීය කළ හැකිය (උදා: යෙදුමකින් දිනපතා නිශ්චිත තොරතුරු ලබා ගැනීම) සහ ප්‍රතිඵල ප්‍රවේශ විය හැකි ආකාරයකින් ඉදිරිපත් කළ හැකිය.
සංජානන දුර්වලතා ඇති පුද්ගලයෙකුට: බහු-පියවර ක්‍රියාවලීන් හෝ නුහුරු මෙනු සැරිසැරීම අතිමහත් විය හැකිය. AI බුද්ධිමත් සහායකයෙකු ලෙස ක්‍රියා කළ හැකිය. එය පරිශීලකයාගේ ඉලක්කය තේරුම් ගනී ("මට මගේ බිල්පත ගෙවීමට අවශ්‍යයි") සහ අවශ්‍ය පියවර - නිවැරදි යෙදුම විවෘත කිරීම, ගෙවීම් අංශයට සැරිසැරීම, දන්නා දත්ත පිරවීම - ස්වාධීනව හෝ අවම අන්තර්ක්‍රියා සමඟ. එය සංකීර්ණතාව අඩු කරයි, විභව දෝෂ අවම කරයි සහ එදිනෙදා ඩිජිටල් කාර්යයන්හි ස්වාධීනත්වය ප්‍රවර්ධනය කරයි.
මෙය සරල ස්වයංක්‍රීයකරණයට වඩා බොහෝ සෙයින් වැඩි ය. එය ක්ලික් කිරීම් ගණන් කිරීම ගැන නොවේ. ඉලක්කය වන්නේ AI සන්දර්භය තේරුම් ගැනීම, පරිශීලකයාගේ අභිප්‍රාය අර්ථ නිරූපණය කිරීම සහ බාධක ජය ගැනීම සඳහා අරමුණු සහිතව ක්‍රියා කිරීමයි. එය ඉගෙන ගනී, අනුවර්තනය වේ, සහ පුද්ගල හැකියාවන් සහ අවශ්‍යතා අනුව සකස් කරන ලද අන්තර්ක්‍රියා සක්‍රීය කරයි.
මෙම AI-බලගැන්වූ තිර ක්‍රියා "ඇති කර ගැනීමට හොඳ" හෝ පහසුව සඳහා වූ විශේෂාංගයක් නොවේ. ඇතැම් ආබාධ සහිත පුද්ගලයින්ට ඩිජිටල් මෙවලම් ඵලදායී ලෙස සහ ස්වාධීනව භාවිතා කිරීමට ඇති එකම මාර්ගය ඒවා වේ. ඒවා අධ්‍යාපනය, රැකියාව, සමාජ සම්බන්ධතා සහ අත්‍යවශ්‍ය සේවාවන් සඳහා ප්‍රවේශය අදහස් කරයි. ඒවා ඩිජිටල් ඇතුළත් කිරීම සහ සමාන අවස්ථා සඳහා යතුරයි.
එබැවින්, තිරය මත සෘජුවම ක්‍රියා සිදු කරන AI සංවර්ධනය සහ වගකිවයුතු භාවිතය කිසිවෙකු පිටුපසින් නොයන සැබවින්ම ප්‍රවේශ විය හැකි ඩිජිටල් ලෝකයක් කරා යන තීරණාත්මක පියවරකි. එය වරක් බිත්ති තිබූ තැන දොරවල් විවෘත කරන අදෘශ්‍යමාන හස්තයයි.
**මෙම යෙදුම AccessibilityService API** භාවිතා කරයි
ඕනෑම යෙදුමක් Screen Operator විසින් ක්‍රියාත්මක කිරීමට ඉඩ දෙන්න. මේ සඳහා, දෘශ්‍ය ආකෘති කථන ආකෘති සහ ස්මාර්ට් ජංගම දුරකථනය භාවිතා කිරීම සඳහා විධාන අඩංගු පද්ධති පණිවිඩයක් ලබා ගනී. භාෂා ආකෘති අනුරූප විධාන සමඟ ප්‍රතිචාර දක්වන අතර, පසුව මෙම යෙදුම මඟින් ක්‍රියාත්මක වේ. මෙම යෙදුමට Termux වෙත සම්බන්ධ වී එහි විධාන ක්‍රියාත්මක කළ හැකිය.
එක් එක් යාවත්කාලීන කිරීමෙන් පසු, නව මෙවලම් වෙත ප්‍රවේශ වීමට "පද්ධති පණිවිඩය ප්‍රතිස්ථාපනය කරන්න" ක්ලික් කරන්න.
GitHub හරහා වේගවත් යාවත්කාලීන ලබා ගන්න: https://github.com/Android-PowerUser/ScreenOperator
දර්ශන LLM සමඟ තිරය ස්වයංක්‍රීයව ක්‍රියාත්මක කරයි
යාවත්කාලීන කළේ
ආරක්ෂාව ඇරඹෙනුයේ සංවර්ධකයන් ඔබේ දත්ත රැස් කර බෙදා ගන්නා ආකාරය අනුවය. දත්ත රහස්‍යතා හා ආරක්ෂා පරිචයන් ඔබේ භාවිතය, කලාපය හා වයස අනුව වෙනස් විය හැක. සංවර්ධකයා විසින් මෙම තොරතුරු සැපයූ අතර කලින් කලට ඒවා යාවත්කාලීන කරනු ලැබිය හැක.
- තෙවැනි පාර්ශ්වයන් සමග කිසිදු දත්තයක් බෙදා ගනු නොලැබේවැඩි විස්තර දැනගන්න සංවර්ධකයන් බෙදා ගැනීම ප්‍රකාශ කරන ආකාරය ගැන
- කිසිදු දත්තයක් රැස් කරනු නොලැබේවැඩි විස්තර දැනගන්න සංවර්ධකයන් එකතුව ප්‍රකාශ කරන ආකාරය ගැන
අලුත් මොනවාද
Gesture recognition does not stop on its own
යෙදුම් සහය
සංවර්ධක පිළිබඳව
Vicco Matthias Exner
Android_PowerUser@10minmail.de
Hasenheide 21
21365 Adendorf
Germany
