Принцип работы «помощника»:
Пользователь запускает приложение, подтверждает соответствующие разрешения для доступа приложения к камере, микрофону и др. После приложение запускает себя в виде сервиса, что позволяет выйти из главного экрана приложения, постоянно сохраняя его активность.

В режиме сервиса приложение ожидает ключевые голосовые команды пользователя. Так, если пользователь скажет «помощник, что ты видишь?» - автоматически активируется тыловая камера и запустится процесс распознавания объектов, которые попали в объектив камеры, с голосовым информированием пользователя (например – “стол в центре, холодильник немного слева, стул немного справа”).

В итоге пользователь может «глазами» приложения «увидеть» объекты которые перед ним и определить примерное их расположение.

Процесс распознавания и голосового информирования происходит в режиме реального времени до того момента, пока пользователь не скажет «помощник стоп».

Получив такую команду, приложение прекратит распознавание и продолжит ожидания дальнейших команд.

Основные голосовые команды:

Помощник, ты меня слышишь? (чтобы убедиться в том, что сервис запущен)
Помощник, сколько времени | который час? (сообщит текущее время)
Помощник, какой сегодня день? (сообщит день недели и дату)
Помощник, заряд батареи (сообщит уровень заряда батареи смартфона)
Помощник, расскажи новости (расскажет 5 главный новостей на текущий момент)
Помощник, первая | вторая | третья | четвертая | пятая новость (расскажет подробно новость)
Помощник включи радио Звезда | Россия (включит проигрывание интернет потока радиостанции)
Помощник погода (раскажет о погоде в населенном пункте пользователя, а также о прогнозе на ближайшие два дня). Важно: точная геопозиция пользователя не определяется, определяется только населенный пункта в котром находится пользователь. GPS не требуется.
Помощник, что ты видишь (запустит активность с камерой и начнет распознавать объекты попадающие в объектив тыльной камеры)
Помощник, стоп (остановит выполнение текущего действия – завершит проигрывание радио, прекратит распознавать объекты, перестанет рассказывать новости)
Важным моментом выступает то, что весь функционал приложения (кроме запроса текущих новостей и вещания радио) работает полностью локально (без необходимости доступа в Интернет). Ни какая информация не передается за пределы смартфона и не сохраняется на нем.

Планы:
1. поиск спонсоров для развития проекта.
2. сбор датасета с учетом отечественных реалий, его разметка, с последующим обучением модели распознавать гораздо качественнее и больше объектов (например тапочки, открытая или закрытая дверь, открытое или закрытое окно, выключатель, шторы, утюг, гладильная доска, стиральная машина, спички, хлеб, батон и многое другое).
3. расширение функционала взаимодействия с пользователем голосом (добавление возможности совершать звонки нужным контактами используя голосовые команды (например «помощник, позвони Елене» - приложение найдет контакт в списке контактов и наберет номер), (добавление возможности общаться с «помощником» на отвлеченные темы.).
4. Добавление доступных радиостанций.
5. Повышение качества распознавания голосовых команд.
6. Исправление выявляемых ошибок.

ВАЖНО:
1. Для работы с «помощником» рекомендуется использовать хэндсфри или наушники . Это необходимо, чтобы «помощник» мог продолжать «слышать» пользователя в процессе произношения голосом информации об объектах, новостей, проигрывании радио и др.
2. По умолчанию, для России, в настройках смартфона установлен женский голос. Для комфортной работы с «помощником» рекомендуется сменить настройки синтеза речи в смартфоне выбрав более удобный голос.
3. Некоторые модели телефонов требуют, дополнительно, предоставить разрешение на показ всплывающих окон. Данное разрешение необходимо, чтобы иметь возможность запустить камеру и начать распознавание объектов, даже если приложение не находится на переднем плане или экран смартфона выключен. Также рекомендуется отключить умный режим оптимизации батареи.