Screen Operator - AI Agent

Android PowerUser‏

خریدهای درون برنامه‌ای

درباره این برنامه

**این برنامه از API سرویس دسترسی استفاده می‌کند**

این کنترل هوشمند صفحه نمایش، انقلابی در دسترسی‌پذیری است.

برای بسیاری از ما، تلفن هوشمند دروازه‌ای به جهان است - برای اطلاعات، ارتباطات، کار و مشارکت. اما برای میلیون‌ها نفر با اختلالات جسمی، بینایی یا شناختی، استفاده از این دستگاه‌های به ظاهر شهودی می‌تواند به یک مانع روزانه تبدیل شود. حرکات پیچیده، دکمه‌های کوچک، رابط‌های کاربری شلوغ و سرعت زیاد برنامه‌های مدرن، شکاف دیجیتالی ایجاد می‌کند که به معنای انزوا به جای شمول است.

اینجاست که هوش مصنوعی (AI) نه تنها به عنوان یک دستیار، بلکه به عنوان یک توانمندساز واقعی عمل می‌کند.

تصور کنید:

برای فردی که مهارت‌های حرکتی بسیار محدودی دارد: ضربه‌های دقیق روی دکمه‌های کوچک یا حرکات پیچیده کشیدن انگشت اغلب غیرممکن یا بسیار خسته‌کننده هستند. هوش مصنوعی می‌تواند این اقدامات را به عهده بگیرد. صفحه را تجزیه و تحلیل می‌کند، هدف را تشخیص می‌دهد (مثلاً دکمه "ارسال") و عمل را دقیقاً در پاسخ به یک دستور ساده (صدا، حرکت سر، یک ضربه کلید) اجرا می‌کند. این یک کار خسته‌کننده را به یک فرآیند یکپارچه تبدیل می‌کند و استفاده از برنامه‌هایی را که در غیر این صورت غیرقابل دسترس باقی می‌مانند، امکان‌پذیر می‌سازد. برای فردی که دارای اختلال بینایی است: در حالی که خوانندگان صفحه می‌توانند متن را با صدای بلند بخوانند، اغلب با گرافیک‌های بدون برچسب یا طرح‌بندی‌های پیچیده مشکل دارند. هوش مصنوعی می‌تواند زمینه بصری را درک کند. می‌تواند عناصر ("دکمه سمت راست لوگو") را شناسایی کرده و آنها را با دستور فعال کند. حتی می‌تواند کارهای روزمره‌ای را که نیاز به اسکن بصری دارند (مثلاً بازیابی اطلاعات خاص از یک برنامه به صورت روزانه) به طور کامل خودکار کند و نتایج را به روشی قابل دسترس ارائه دهد.


برای فردی که دارای اختلالات شناختی است: فرآیندهای چند مرحله‌ای یا پیمایش منوهای ناآشنا می‌تواند طاقت‌فرسا باشد. هوش مصنوعی می‌تواند به عنوان یک دستیار هوشمند عمل کند. هدف کاربر ("من می‌خواهم صورتحساب خود را پرداخت کنم") را درک می‌کند و مراحل لازم - باز کردن برنامه صحیح، پیمایش به بخش پرداخت، پر کردن داده‌های شناخته شده - را به طور مستقل یا با حداقل تعامل انجام می‌دهد. این پیچیدگی را کاهش می‌دهد، خطاهای احتمالی را به حداقل می‌رساند و استقلال را در کارهای دیجیتال روزمره ارتقا می‌دهد.


این بسیار فراتر از اتوماسیون ساده است. این در مورد شمارش کلیک‌ها نیست. هدف این است که هوش مصنوعی زمینه را درک کند، قصد کاربر را تفسیر کند و برای غلبه بر موانع هدفمند عمل کند. این هوش مصنوعی یاد می‌گیرد، سازگار می‌شود و تعامل متناسب با توانایی‌ها و نیازهای فردی را امکان‌پذیر می‌کند.

این اقدامات صفحه نمایش مبتنی بر هوش مصنوعی یک ویژگی "خوب برای داشتن" یا یک ویژگی راحتی نیستند. آنها اغلب تنها راه برای افراد دارای معلولیت خاص برای استفاده مؤثر و مستقل از ابزارهای دیجیتال هستند. آنها به معنای دسترسی به آموزش، کار، ارتباطات اجتماعی و خدمات ضروری هستند. آنها کلید شمول دیجیتال و فرصت‌های برابر هستند.

بنابراین، توسعه و استفاده مسئولانه از هوش مصنوعی که اقدامات را مستقیماً روی صفحه نمایش انجام می‌دهد، گامی حیاتی به سوی یک دنیای دیجیتال واقعاً قابل دسترس است که هیچ کس را پشت سر نمی‌گذارد. این دست نامرئی است که درهایی را باز می‌کند که زمانی دیوارها وجود داشتند.

**این برنامه از API AccessibilityService استفاده می‌کند**

اجازه دهید هر برنامه‌ای توسط اپراتور صفحه نمایش اداره شود. برای این کار، مدل‌های بینایی مدل‌های گفتاری و یک پیام سیستمی حاوی دستوراتی برای استفاده از تلفن هوشمند دریافت می‌کنند. مدل‌های زبانی با دستورات مربوطه پاسخ می‌دهند که سپس توسط این برنامه اجرا می‌شوند. این برنامه همچنین می‌تواند به Termux متصل شود و دستورات را در آنجا اجرا کند.

بعد از هر به‌روزرسانی، برای دسترسی به ابزارهای جدید، روی «بازیابی پیام سیستم» کلیک کنید.

از طریق گیت‌هاب به‌روزرسانی‌های سریع‌تری دریافت کنید: https://github.com/Android-PowerUser/ScreenOperator

تازه‌ها

• From any screen: Swipe bottom left to right to let Screen Operator help
• In-use screen recording is at least now possible within Screen Operator with microphone.
• The overlay has a text border for better readability.
• The Stop button works reliably in Gemini 3.8 live.
• More updates loadable without download
And more