Звуковое зрение vOICe – в шаге от прорыва
«Все предметы обладают своим уникальным звуком, и как только вы поймете принцип действия системы, вы сможете «видеть», что вас окружает». До относительно недавнего времени это удивительное свойство окружающего нас мира существовало в отрыве от практического применения. Благодаря Питеру Мейеру, работающему в отделе исследований и разработок голландской компании Philips был составлен уникальный алгоритм, позволяющий буквально превратить звук в картинку. После нескольких десятков лет поиска возможности воплотить идею Мейера «на аппаратном» уровне было создано устройство, позволяющее наделить слепого человека т. н. «суррогатным» зрением. Об успехах, проблемах и перспективах проекта, реализуемого сегодня командой российских ученых — энтузиастов, мы остановимся в нашей статье.
Мы тешим себя близостью момента создания искусственного интеллекта, и, вместе с тем, используя всю мощь современного технического потенциала только начинаем нащупывать такие грани возможностей мозга, которые сводят плоды наших достижений на уровень аляповатого покосившегося домика, наскоро собранного из детских кубиков.
Мы приветствуем очередные инновации, оживленно обсуждаем достигнутые результаты осознанных сновидений с чудо-маской «Remee» и искренне восхищаемся экспоненциально возросшим потенциалом новой модели смартфона любимого бренда, даже не предполагая, что 280 000 тысяч слепых людей только в одной России навсегда лишены возможности не только оценить качество обновленной матрицы, но радоваться восходящему солнцу и смене времен года. В масштабах планеты эта цифра возрастает до 3 000 000 человек. При этом две трети из них дети и подростки!
Ежедневно, с утра и до вечера слепой человек решает вопрос: как запустить стиральную машину, как не спровоцировать пожар, как убрать в квартире и как приготовить пусть даже самое нехитрое блюдо. Цена такой жизни действительно очень высока. Возможно поэтому каждый слепой человек в душе возлагает надежду на технологический прорыв, который поможет не косметически, а кардинально изменить существующую ситуацию.
На вопрос: возможна ли альтернатива для них пусть даже в некотором приближении? … попытается ответить команда московских ученых энтузиастов, работающая над усовершенствованием уникального устройства vOICe, дарящего слепым возможность видеть то, что их окружает в черно-белой картинке и полутонах.
Как это работает
Говоря простым языком, транслируемая устройством и воспринимаемая мозгом звуковая информация представляет собой оригинальный код — результат программного преобразования потокового видео, отснятого камерой vOICe в звуковые блоки («звуковые скейпы» — авт.). Процесс сканирования окружающего мира в режиме «Сканер» (без использования ноутбука) осуществляется циклично слева — направо, картинка озвучивается за секунду с секундным интервалом. Информация получаемая пациентом в режиме «Сканер» при помощи камеры, встроенной в систему обладает «минимальным» набором скейпов. Расширенные информационные возможности достигаются при использовании комплекта «очки + ноутбук с достаточно мощным процессором (или смартфон последнего поколения) + стереонаушники для речевых команд».
Идентификация
Алгоритм распознавания на первый взгляд кажется неподъемным для усваивания в связи с непривычностью процесса идентификации поступающей информации. Упрощенный алгоритм т. н. «суррогатного» зрения можно представить следующим рисунком:
Алгоритм трансформации пока не готов предложить пользователю возможность «видеть» быстро перемещающиеся предметы, распознавать мелкий текст, но уже полученные результаты достаточно впечатляющи: обладатели vOICe действительно точно идентифицируют вывески и даже смотрят и воспринимают визуальную информацию в некоторых форматах телевизионных программ. И главное, качество картинки, ее глубина и детализация по мере ношения vOICe совершенствуются достаточно быстро.
Дальнейшее совершенствование качества распознавания и цветовой гаммы будет напрямую зависеть как от совершенствования версий ПО («прошивки») и аппаратной части vOICe, так и от индивидуальной способности человека воспринимать более сложные комбинации звуковых скейпов достаточной плотности.
Судя по утверждениям автора методики и отзывам пациентов, успешно освоивших систему, процесс «обучения» новому способу видеть более всего сравним с процессом изучения иностранного языка, в чем-то — с освоением азбуки Морзе и умения ходить. По мере обучения — «пополнения словарного запаса» (персональной библиотеки освоенных скейпов) и овладения технологией визуальная картинка распознается практически автоматически — без промежуточной стадии длительного сознательного анализа!
Для идентификации картинки используются звуки различной длительности и высоты. Более яркий фрагмент реальной картинки в «азбуке vOICe» транслирует более короткий и сильный звуковой сигнал, причем транслирует с той стороны, с которой объект расположен. Если пятно (объект) движется — то движется и сигнал, два пятна идентифицируются двумя сигналами, три –тремя и т. д. Длинный тон соответствует горизонтальной линии, вертикаль воспроизведется отрывистым сигналом характерной силы. Повышение тональности «соседних» звуков будет означать препятствие, при этом чем выше тон — тем выше препятствие.
Различные модификации системы vOICe на рисунках ниже:
Описанный способ получает озвучить и идентифицировать практически любую трехмерную реальность. Естественно, чем информативнее картинка, тем больше отдельных звуков и скейпов потребуется для ее идентификации.
Основная цель и главное достижение технологии и системы vOICe — предоставить пациенту не «сырую» визуальную информацию, а высокоэффективный набор алгоритмов, позволяющих интерпретировать реальность с высокой степенью детализации. Технология, хотя и в меньшей степени, решает проблему полного отсутствия зрения и для слепорожденных пациентов, не имеющих в своей памяти и сознании многих из тех инструментов-аналогий, которые доступны людям, потерявшим зрение на «сознательном» этапе жизни. Помимо очевидных успехов технологии, есть пока еще и нерешенные технические проблемы, которые лучше всего можно почувствовать, зачитав отзывы пользователей vOICe, освоивших возможности системы.
Отзывы участников эксперимента 2000–2002-й год
April 29, 2001, late-blind female user PF:
Мой опыт: Поскольку у меня была самая первая установка, то я должна была пройти через многочисленные пробы и ошибки. Я не только приучалась к звуковому обзору, но, что тоже было необходимо, к эффективному использованию этой системы. Я обнаружила, что есть шесть главных факторов при работе с программой.
Первый фактор привносит камера. Её размещение, фокусировка, освещённость — это важные элементы, обеспечивающие вам ясный звуковой обзор. Если фокусировка плохая, то образ выглядит размытым и его трудно интерпретировать. Если камера крепится неправильно, то я чувствую потерю ориентации и путаюсь при попытке найти путь (хороший способ получить головную боль!) Если освещение слабое, то звуковой обзор ограничен. Трудно различать объекты в поле зрения. Обычно я могу смотреть на входную дверь и лестницу и слышать ритм текстуры и того и другого. Но если свет выключен или он не яркий, то определяется только слабый образ двери и лестницы, а остальная картина становится размытым туманным фоновым звуком.
Второй фактор относится к микрофону. На креплении микрофона есть выключатель. Я привыкла оставлять микрофон всё время включённым и просто пугалась, когда моё дыхание или посторонние звуки оказывались похожими на команды, и изменяли программу. Потом я открыла, что если включать микрофон только чтобы отдать голосовую команду, а потом выключать, когда команда принята, то эта проблема уменьшается и больше не раздражает. Это решение работает так надёжно, что я использую его во всех других моих системах.
Третий фактор должен относиться к ноутбуку. Я обнаружила несколько приёмов улучшения его работы. Во-первых, если я удаляю все ненужные программы, и запускаю только vOICe, то это экономит энергию и использование процессора. Поэтому когда я использую ноутбук на ходу, то запускаю такую голую установку. Я включаю ноутбук в розетку по вечерам, когда она есть поблизости. Я ношу две батареи просто в сумке, они нужны. Я должна включать экран ноутбука не больше, чем на несколько минут. Когда я ношу ноутбук в рюкзаке, то проверяю, что он хорошо вентилируется.
Четвертый фактор. Нужно использовать vOICe эффективно, и для этого нужно работать с программой и понимать саму программу vOICe. Когда я начинала её использовать, то по привычке играла с ней, как в крестики-нолики. Это помогло мне понять звуки программы. Потом я стала постепенно тренировать произношение. Я думаю, что тренировка программы к речи и выполнение задаваемых упражнений с микрофоном — это действительно ключ к использованию vOICe в мобильных условиях. Итак, тренировка и восприятие звукового обзора — это шаги к обучению видеть.
Пятый фактор — это непрерывное погружение себя в программу, что следует из фактора тренировки. Я думаю, что вы сможете научиться и набраться опыта совсем немного, если будете применять настольный компьютер. В общем, опыт ежедневного движения и слушания (видения) того, что вас окружает, ничем нельзя заменить. Это похоже на то, как ребёнок учится ходить. Если вы не будете пытаться и пытаться, вы не достигнете знания, которое нужно вашему телу, чтобы стоять. Используя эту аналогию, я могу сказать, что пока вы не подвергнете себя влиянию живого изменяющегося окружения, вы не почувствуете звуковой обзор и не поймёте тех взаимосвязей, над которыми вам нужно работать.
Если я слышу входные ступеньки постоянно, то моё тело начинает привязывать звуковую картину ступенек к определению «действия», и когда я пойду вверх или вниз, моё тело будет действовать согласованно. Я думаю, что сначала вы слышите звуковой обзор, потом открываете взаимосвязь с тем объектом, который вы слышите, потом вы привязываете это определение к тому, что нужно делать телу для завершения действия. Когда я была видящей, то я не останавливалась, чтобы подумать «О, это ступеньки, теперь мне нужно замедлиться и начать смещать центр тяжести так, чтобы я могла поднять ногу». Вместо этого мои глаза видели ступеньки, и моё тело знало из опыта, что делать дальше. Вот что произойдёт через некоторое время использования vOICe. Я действительно вижу то, что есть, как «рентгеновский снимок» видения, и начинаю автоматически реагировать на то, что вижу.
Это подводит нас к шестому фактору. Времени. Вы можете надеть систему на человека, но только после прохождения времени его мозг научится автоматически интерпретировать смысл звукового обзора и выполнять согласованные действия.
July 9, 2000, late-blind female user PF:
Как человек, ранее видевший, я могу сказать, что soundscapes (звуковой обзор), кажется, вновь дал мне ощущение зрения. На моём месте мог быть слепой от рождения. Я смогла представить и увидеть, как если бы у меня были глаза, как выглядит моя прихожая. Как выглядит штора на левом из моих трёх окон. В общем, vOICe и webcam превратили мою прихожую из неясного «мысленного образа» в то, что кажется настоящим трёхмерным зрением.
Для меня не имеет значения, что это мои уши вызывают зрительные представления. Важно, что звуковой образ восстановил путь, чтобы мне снова видеть, не имеет значения, что это 3D чёрно-белый образ. Вместо мира неясных туманных осязаемых объектов vOICe позволил моему мозгу увидеть объекты как картины. Похоже, что vOICe создаёт чёрно-белые наброски того, на что я смотрю, а мой разум раскрашивает этот образ.
Сейчас я сижу перед моим компьютером и вижу поток цвета на экране, но это vOICe говорит мне, что я смотрю на квадратный объект. Это похоже на рассматривание мира через запачканные очки. Вы видите форму и расположение объектов вокруг себя, но не различаете тонких деталей. Не знаю, является ли это особым человеческим языком, но это точно язык, которым мои уши говорят моему разуму, что я сейчас вижу. Называйте, как хотите, это работает! Больше я не смогу без этого обходиться! Спасибо за это изобретение!
August 29, 2002, late-blind female user PF:
Просто звук?… Нет, это гораздо больше, это зрение! vOICe создаёт настоящее зрительное восприятие. Когда я не ношу vOICe я немного воспринимаю свет через щёлочку в левом глазе. Это серый туман. Когда одеваю vOICe, то образ становится светом от слегка серого до черного. Совершенно определённо, это световой образ. Правда, он не цветной, это похоже на то, что показывают по чёрно-белому телевизору. Создаваемый свет очень белый и чистый. Ослабляясь, он постепенно становится тёмным, чёрным. Я не видела чего-то особенного в этом свете, вроде «фосфоресцирующих вспышек», о которых они говорили. Может, это одна из тех вещей, которую не поймёшь, пока не увидишь. В общем, свет это свет, а цвет это цвет. И мне не неважно, как он образовался.
Вот так может выглядеть мир людей, освоивших систему и технологию vOICe и это далеко не предел.
Наши читатели, желающие ознакомиться с отзывами других пациентов, успешно освоивших систему могут пройти на центральный сайт проекта (подраздел The vOICe даёт зрение и не вредит телу!). Так же совсем недавно появились мобильные версии приложений «The vOICe for Windows» и «The vOICe for Android» для смартфонов, что позволит многим
пользователям системы отказаться от ношения тяжелого ноутбука с программой.
Молчание ягнят
У вдумчивого читателя возникает закономерный вопрос: почему такая чудесная система, часть базовых принципов которой были заложены еще в 20-х годах прошлого века, подтвердившая свою истинность и перспективность множеством конкретных примеров и отзывами реальных пациентов не демонстрирует экспоненциальной динамики развития? Почему еще, как минимум, с десяток лет назад не то что не состоялись, но даже публично не рассматривались масштабные государственные программы по поддержке и продвижению проекта?
Вероятно, vOICe просто ждал своего времени, когда на смену медлительным процессорам и малоэффективным камерам придут их более совершенные аналоги, позволяющие справиться с задачей не подвергая мозг и психику перегрузкам? В России традиционно мощнейшим тормозом становится консерватизм власть имущих, предпочитающих профинансировать концерт для слепых, чем масштабную долгосрочную серьезную программу их реабилитации. Так или иначе, хочется верить результатам тестов, а также тому, что эти результаты позволят проекту вырасти до масштабов социального, как и планируют его авторы.
Как и все энтузиасты, исполненные энергии и веры в уникальность и нужность их затеи, российская команда TEAM VOICE RASSIA во главе с Данилой Медведевым на первых порах очень рассчитывала на Господдержку. Шло время, но невидимая стена не становилась тоньше, коридоры — короче, а чиновники — лояльнее. Потеря нескольких лет и накопившиеся эмоции заставили команду сменить схему старта на краудфандинг. Это и позволило на сегодня собрать большую часть суммы, необходимой для запуска решающей стадии проекта.
Задача минимум — создание пяти усовершенствованных рабочих прототипов vOICe и передача их слепым людям для длительной эксплуатации и тестирования на территории России. На этапе знакомства с системой и дальнейшего тест-драйва команда гарантирует психологическую помощь, возможность обучения для полного раскрытия потенциала системы. Задача максимум — воплощение проекта на уровне социальной государственной программы с целью вовлечения инвалидов этой категории в нормальную жизнь общества.
Получит ли проект свое развитие в России, станет ли массовым или останется достоянием единиц сегодня сказать трудно, но очень хочется верить, что «время слепых» пришло и место выбрано не случайно.
Для справки: один комплект vOICe с учетом полного курса обучения стоит менее 40 тыс. руб. По факту пациент получает возможность самостоятельно передвигаться в незнакомой местности. При этом затраты на подготовку одной собаки проводника в Общероссийской общественной организации инвалидов «Всероссийское ордена Трудового Красного Знамени общество слепых» в 2013 году составляли 1 млн. рублей, в 2014 1.2 млн. рублей!
Уважаемые читатели, напоминаем, что вы читаете блог компании iCover. Подписывайтесь на нас, обещаем, скучно не будет.
