Screen Operator - AI Agent

Android PowerUser‏

רכישות מתוך האפליקציה

מידע על האפליקציה הזו

**אפליקציה זו משתמשת ב-API של AccessibilityService**

בקרת מסך חכמה זו היא מהפכה בתחום הנגישות.

עבור רבים מאיתנו, הסמארטפון הוא שער לעולם - למידע, תקשורת, עבודה והשתתפות. אבל עבור מיליוני אנשים עם לקויות פיזיות, ראייה או קוגניטיביות, השימוש במכשירים אינטואיטיביים לכאורה אלה יכול להפוך למכשול יומיומי. מחוות מורכבות, כפתורים קטנים, ממשקים עמוסים והמהירות העצומה של אפליקציות מודרניות יוצרים פער דיגיטלי שמשמעותו בידוד במקום הכללה.

כאן בינה מלאכותית (AI) פועלת לא רק כעוזר, אלא כגורם מאפשר אמיתי.

דמיינו:

עבור אדם עם כישורים מוטוריים מוגבלים מאוד: נגיעות מדויקות על כפתורים זעירים או מחוות החלקה מורכבות הן לרוב בלתי אפשריות או מעייפות ביותר. בינה מלאכותית יכולה להשתלט על פעולות אלה. היא מנתחת את המסך, מזהה את המטרה (למשל, כפתור "שלח") ומבצעת את הפעולה בדיוק בתגובה לפקודה פשוטה (קול, תנועת ראש, לחיצת מקש אחת). היא הופכת משימה מתסכלת לתהליך חלק ומאפשרת שימוש באפליקציות שאחרת היו נשארות בלתי נגישות. עבור אדם עם לקות ראייה: בעוד שקוראי מסך יכולים לקרוא טקסט בקול רם, הם מתקשים לעתים קרובות עם גרפיקה לא מתויגת או פריסות מורכבות. בינה מלאכותית יכולה להבין את ההקשר החזותי. היא יכולה לזהות אלמנטים ("הכפתור מימין ללוגו") ולהפעיל אותם לפי פקודה. היא יכולה אפילו להפוך באופן מלא אוטומציה של משימות שגרתיות הדורשות סריקה חזותית (למשל, אחזור מידע ספציפי מאפליקציה על בסיס יומי) ולהציג את התוצאות בצורה נגישה.

עבור אדם עם לקויות קוגניטיביות: תהליכים מרובי שלבים או ניווט בתפריטים לא מוכרים יכולים להיות מכריעים. בינה מלאכותית יכולה לשמש כעוזר חכם. היא מבינה את מטרת המשתמש ("אני רוצה לשלם את החשבון שלי") ומבצעת את השלבים הדרושים - פתיחת האפליקציה הנכונה, ניווט למקטע התשלום, מילוי נתונים ידועים - באופן עצמאי או עם אינטראקציה מינימלית. היא מפחיתה את המורכבות, ממזערת שגיאות פוטנציאליות ומקדמת עצמאות במשימות דיגיטליות יומיומיות.

זה הרבה יותר מאוטומציה פשוטה. זה לא עניין של ספירת קליקים. המטרה היא שבינה מלאכותית תבין את ההקשר, תפרש את כוונת המשתמש ותפעל באופן מכוון כדי להתגבר על מחסומים. היא לומדת, מסתגלת ומאפשרת אינטראקציה המותאמת ליכולות ולצרכים האישיים.

פעולות המסך המופעלות על ידי בינה מלאכותית אינן "נחמד שיש" או תכונה נוחה. הן לרוב הדרך היחידה עבור אנשים עם מוגבלויות מסוימות להשתמש בכלים דיגיטליים ביעילות ובאופן עצמאי. הן משמעותן גישה לחינוך, עבודה, קשרים חברתיים ושירותים חיוניים. הן המפתח להכלה דיגיטלית ולשוויון הזדמנויות.

לכן, פיתוח ושימוש אחראי בבינה מלאכותית המבצעת פעולות ישירות על המסך הוא צעד מכריע לקראת עולם דיגיטלי נגיש באמת שאינו משאיר אף אחד מאחור. זוהי היד הנעלמה שפותחת דלתות במקום בו היו פעם חומות.

**אפליקציה זו משתמשת ב-API של AccessibilityService**

אפשר לכל אפליקציה להיות מופעלת על ידי Screen Operator. לשם כך, מודלים של ראייה מקבלים מודלים של דיבור והודעת מערכת המכילה פקודות לשימוש בסמארטפון. מודלים של שפה מגיבים עם הפקודות המתאימות, אשר לאחר מכן מבוצעות על ידי אפליקציה זו. אפליקציה זו יכולה גם להתחבר ל-Termux ולבצע שם פקודות.

לאחר כל עדכון, לחץ על "שחזר הודעת מערכת" כדי לגשת לכלים החדשים.

קבלו עדכונים מהירים יותר דרך GitHub: https://github.com/Android-PowerUser/ScreenOperator

מה חדש?

Gesture recognition does not stop on its own