CloudVision-nvda-addon — специальное дополнение для программы экранного доступа NVDA, предназначенное для улучшения возможностей распознавания текста с изображений и документов. Оно позволяет пользователям с нарушениями зрения быстро получать доступ к содержимому картинок, графических файлов и PDF-документов благодаря встроенным технологиям оптического распознавания символов (OCR).

CloudVision выгодно отличается от конкурентов благодаря уникальной особенности: дополнение автоматически активируется и выполняет распознавание объектов исключительно через горячие клавиши. Это избавляет пользователей от необходимости постоянно вручную запускать программу, делая работу быстрее и удобнее.

 

Для кого полезно?

Данное дополнение ориентировано на тех, кому сложно воспринимать визуальные элементы интерфейсов, особенно если речь идет о сканированных документах, изображениях с текстом или веб-контенте, содержащем графики и иллюстрации.

 

 

 

Установка дополнения

 

Актуальная стабильная версия дополнения: 6.1.8. Рекомендуется скачать с официального сайта visionbot.ru/addon/ для удобства установки. NVDA-аддоны+1

Установить можно с официального сайта visionbot.ru/addon/
Страница для скачивания:
https://visionbot.ru/addon/info_ru.php

Чтобы установить дополнение на компьютер достаточно активировать скаченный файл:
CloudVision (1).nvda-addon

Чтобы установить дополнение в Telegram или Unigram перейдите по ссылке:
https://t.me/visiontest1bot

 

Основные функции

 

Дополнение Cloud Vision — это Ваш помощник для:
— описания изображений,
— распознавания картинок и текста на них,
— описания происходящего на фотографиях, — примерного определения возраста человека.

 

 

 

Предварительная настройка дополнения

 

Перед началом работы проведите небольшие настройки дополнения.

1. Найдите наПанели задач или в Трее значок NVDA, откройте Контекстное меню правой кнопкой мыши и выберите:
— Параметры,
— жесты ввода,
— категория CloudVision.
и поставьте «галочки во всех пунктах. «

 

 

выберите,, как описывать изображение:подробно или кратко.
А также выберите сервис для распознавания.

Настройках Cloud Vision,
Управление аккаунтом BM, войдите или зарегистрируйтесь. Только по почте и паролю, вход через Apple, Google и другие сервисы не поддерживается. Если ошибка, сделайте новый аккаунт на новую почту. После регистрации почту нужно подтвердить перейдя по ссылке из письма от Be My Eyes. Поддерживаются
После заполнения пунктов в окне Параметры не забудьте нажать «OK».

2. Снова найдите наПанели задач или в Трее значок NVDA, откройте Контекстное меню правой кнопкой мыши и выберите:
— Параметры,
— Жесты ввода
— Cloud vision

 

Чтобы открыть, щелкните два раза по названию.
Оставляем все по умолчанию, ничего не исправляем.
Здесь при необходимости можно изменить Горячие клавиши для разных функций Cloud Vision.

 

 

Как это работает

 

 

1. Объект на экране

 

Чтобы распознать объект:
— Установите навигатор (или курсор) на интересующий объект и нажмите CTRL+NVDA+I,

 

Примечание:
здесь клавиша NVDA — это функциональная клавиша NVDA. По умолчанию установлена клавиша «Insert».
То есть дляактивации команды нужно нажимать:
CTRL+Ins+I,
_ клавиши «Ctrl» и «I» можно изменить в настройках Жесты ввода.

Если нажать дважды клавишу «I», результат в виде текста откроется в окне виртуального просмотрщика,
Здесь можно будет как в любом текстовом редакторе перемещаться стрелками, выделять, копировать текст.

 

 

 

2. Распознать изображение

Основные сценарии использования:
— чтение документов со сканированных изображений;
— Чтение PDF — документов, страницы которых представлены в виде изображений или когда в документах PDF кроме читаемого текста есть надписи на встроенных картинках.
— распознавание текста на веб‑страницах, где он представлен картинкой;
— обработка фотографий с текстовой информацией (визитки, объявления, вывески);
— доступ к учебным материалам с иллюстрациями и подписями.

 

 

Откройте картинку, фото или любое изображение вРедакторе изображений: в Фотошоп, Paint или любом другом.
Или Щелкните по ккартинке в любом браузере.
— Нажмите сочетание клавиш:
CTRL+Ins+I
чтобы Распознать картинку под курсором.
— Подождите несколько секунд пока сервис распознает изображение.
— И услышите голосом диктора NVDA результат распознавания.

 

Примечание:
Перед началом распознавания изображения Вы можете выбрать, как описывать изображение:подробно или кратко.
Для этого нажмите сочетание:
Alt+Ins+P
— переключение между кратким, подробным описанием и вашим заданным в настройках промптом.

 

Если Вы хотите Задать дополнительный вопрос боту по распознаваемой картинке, нажмите:
ALT+Ins+A
чтобы задать вопрос Be My AI по распознанной картинке.
Откроется Окно вопроса.
Здесь в редакторе можно написать свой дополнительный вопрос по картинке и отослать его для получения ответа.
Вопросы можно задавать несколько раз.
Например, во что одета девушка на изображении, а затем, сколько девушке лет?

 

Примечание:
В настройках Вы можете выбрать другой сервис для распознавания: вместо Be My Eyes сервис PiccyBot.
Этот бот намного подробнее описывает картинку. PiccyBot рассказывает не только, что видно на изображении, но и размышляет о характерах людей и свойствах изображенных предметов и их взаимосвязи.

 

При двойном нажатии на клавишу «I»^
CTRL+Ins+I(+I)
откроется виртуальный просмотрщик с текстовым описанием картинки.
Здесь можно выделить часть текста или скопировать весь текст, чтобы перенести его в любой текстовый редактор для дальнейшего использования.

 

И наконец, Вы можете не открывать изображение, а распознать картинку, даже не открывая файла, по прямой ссылке на jpg/png в Проводнике.

 

 

 

3. Распознать текст на картинках

Бывает так, что на экране монитора возникает табличка с описанием ошибки какой-либо программы на компьютере, но текст в окне не читается скринридерами. Вы ее спокойно можете прочитать с помощью данного дополнения.
— Установите навигатор (или курсор) на окно с ошибкой или
Откройте картинку, фото или любое изображение с текстом вРедакторе изображений: в Фотошоп, Paint или любом другом.
Или Щелкните по ккартинке с текстом в любом браузере.
— Нажмите сочетание клавиш:
CTRL+Ins+I
чтобы Распознать текст на картинке под курсором.
— Подождите несколько секунд пока сервис распознает изображение.
— И услышите голосом диктора NVDA результат распознавания.
Сначала Вы услышите весь текст, написанный на картинке, а затем описание самой таблицы или картинки.

При двойном нажатии на клавишу «I»^
CTRL+Ins+I(+I)
откроется виртуальный просмотрщик с текстовым описанием картинки.
Вначале будет сам текст, размещенный на картинке, а затем текст с описание окна или картинки. Здесь можно выделить часть текста или скопировать весь текст, чтобы перенести его в любой текстовый редактор для дальнейшего использования.

Можно также после выполнения команды по распознаванию текста на картинке нажать сочетание клавиш:
Alt+Ins+C
чтобы запомнить распознанный текс в Буфере обмена, а затем перенести его в любой Текстовый редактор.

Если Распознанный текст окажется на английском языке или каком-либо другом, Вы можете воспользоваться функцией: «Задать Вопрос Боту».
Чтобы активировать бота после распознания объекта, нажмите:
ALT+Ins+A
чтобы задать вопрос Be My AI, или PiccyBot по распознанной картинке.
Откроется Окно вопроса.
Здесь в редакторе можно написать свой дополнительный вопрос, например: Переведи распознанный на картинке текст на русский язык,
и отослать его для получения ответа.

 

 

 

4. Распознать весь экран

Для слабовидящих или незрячих пользователей большая часть экранной информации оказывается труднодоступной. Распознавая объекты, элементы интерфейсов, значки, кнопки, изображения и даже текст, дополнение позволяет озвучивать эти элементы голосом либо выводить их альтернативно удобным способом.
Например, при работе с графическими интерфейсами пользователь сможет получать описания кнопок меню, элементов окон, изображений, что значительно облегчит взаимодействие с приложениями и сайтами.

Чтение текста на объектах:
Часто текст отображается на изображениях объектов: баннерах или иконках. Если обычный экранный диктор не способен прочитать этот текст, дополнение Cloud Vision способно определить его наличие и преобразовать в читаемый формат. Это существенно расширит возможности пользователя в навигации по веб-сайтам, документам PDF, электронной почте и другим источникам информации.

 

 

Чтобы распознать весь экран, нажмите:
ALT+Ins+F
В результате голосом скринридера NVDA будет озвучено описание всех элементов на экране монитора.

При двойном нажатии клавиши «F
ALT+Ins+F+F
«откроется виртуальный просмотрщик.

 

 

 

5. Распознать Активное окно

— Незрячие пользователи часто полагаются на программы экранного чтения (скринридеры). Распознавание изображений помогает описать содержимое активных окон, иконок, кнопок и других элементов интерфейса, делая работу с компьютером более интуитивной и удобной.
— Обладая информацией о том, какое именно приложение открыто в активном окне, незрячий пользователь может быстрее ориентироваться среди открытых программ и файлов. Это позволяет эффективнее переключаться между ними и экономить время.
— Многие приложения используют графику и визуальные элементы, которые сложно объяснить словами. Например, значки уведомлений, предупреждения или подсказки внутри приложений. Если скринридер не поддерживает данное приложение, дополнение Cloud Vision способно частично компенсировать этот недостаток.

 

 

Чтобы распознать Активное окно, установите навигатор (или курсор) на интересующий объект и нажмите:
ALT+Ins+W
При двойном нажатии клавиши «W» откроется виртуальный просмотрщик с текстовым описанием.

 

 

 

6. — Распознать изображение из буфера обмена.

 

Иногда удобнее распознать изображение из Буфера обмена.
Вы могли скопировать изображение из какого-либо браузера или из соцсетей, сохранить его в Буфере обмена.
Чтобы распознать его достаточно нажать:
ALT+Ins+C
и дополнение озвучит Вам содержание картинки.

 

При двойном нажатии откроется виртуальный просмотрщик с писменным описанием.

 

 

 

Задать Вопрос Боту

 

Кроме возможности Задать дополнительный вопрос боту по распознанной картинке,вопросы Боту можно задавать и в случае распознавания всего экрана, например, где находится определенный ярлык или баннер на экране, и в случае распознавания Активного окна, например, где расположена определенная кнопка.

 

Чтобы активировать бота после распознания объекта, нажмите:
ALT+Ins+A
чтобы задать вопрос Be My AI, или PiccyBot по распознанной картинке.
Откроется Окно вопроса.
Здесь в редакторе можно написать свой дополнительный вопрос и отослать его для получения ответа.

 

 

 

Заключение

Использование CloudVision-nvda-addon значительно упрощает жизнь людям с ограничениями зрения, позволяя свободно читать содержимое изображений и сложных документов. Это удобное решение для всех, кто хочет расширить возможности своего устройства и сделать взаимодействие с цифровым контентом комфортным и доступным.