Умная белая трость. Часть 2
В первой части статьи https://habr.com/ru/articles/746826/ приведен обзор коммерческих и экспериментальных разработок навигационных устройств для незрячих, а также сформулированы желаемые, общие требования к таким устройствам.
Основываясь на информации от незрячих людей и испытаниях собственных разработок, условно разделил устройства навигации на три группы:
Первая группа — устройства дальней навигации. Предназначены для определения положения человека и конечного пункта движения в масштабах страны, города, улицы, дома. В таких устройствах используется GPS, интернет, распознавание образов и их вербальное описание. Устройство передает человеку большой объем информации, что приводит к существенному запаздыванию реакции на эту информацию. Обычно таким устройством является смартфон и встроенный, либо внешний приемник GPS и программа, обеспечивающая вывод навигационной информации посредством синтеза речи.
В настоящее время подобные решения обеспечивают ошибку навигации примерно 10 метров. Если использовать двухчастотные приемники GPS или методы дополнительной обработки фазы сигналов, то погрешность позиционирования можно уменьшить до величин меньше одного метра. Стоимость высокоточных систем составляет сотни тысяч рублей. Кроме того, такие системы требуют наличие специальной инфраструктуры и специальных спутников в зоне видимости. Однако GPS навигаторы не работают внутри помещений. В итоге, навигация на основе GPS позволяет лишь ориентироваться глобально, но бесполезна для навигации внутри зданий и неспособна определить рельеф поверхности передвижения человека на улице.
Вторая группа устройств предназначена для определения направления движения в помещениях, на улицах и открытой местности, либо относительно окружающих человека предметов, с распознаванием относительной скорости и направления движения. Дальность действия таких систем составляет от единиц до нескольких десятков метров.
Третья группа устройств предназначена для определения безопасного маршрута движения человека, предотвращения столкновений, указания стороны обхода препятствий и контроля рельефа поверхности движения. Эти устройства фактически реализуют функции классической белой трости и дополняют ее новыми свойствами. Устройства этой группы должны обеспечить высокую скорость передачи информации человеку и не усложнять для него процесс движения.
Представляю свои экспериментальные разработки, которые относятся к третьей группе устройств.
Первое автономное устройство собрал в 2016 году на основе ультразвукового датчика с частотно-модулированным звуковым сигналом, частота которого изменялась обратно пропорционально расстоянию. Вариант такого устройства (2021) на фото под № 1.
Устройство №1 — УЗ датчик (расстояние от 30 см до 8 м, вес 45 гр,6×4x2 см3);
устройство №2 — TOF датчик (расстояние от 10 см до 12 м, вес 90 гр, 7×4.5×2.5 см3);
устройство №3 — TOFдатчик (расстояние от 10 см до 4 м, вес 15 гр, 6×2.5×1 см3).
В процессе экспериментов пришел к выводу, что УЗ датчики имеют много существенных недостатков. Датчики ценою до 2$ имеют плохую диаграмму направленности, что приводит к высокому уровню сигналов от боковых препятствий и как следствие этого большую величину случайной погрешности. Низкая скорость измерений приводит к большой задержке получения результата при использовании фильтрации сигнала.
Поэтому в дальнейших разработках полностью отказался от применения УЗ датчиков для устройств навигации третьего типа. Первое устройство на УЗ датчике было забраковано при испытаниях, так как утомляло человека и предполагало специальное обучение распознаванию на слух сигнала.
В 2022 г. сделал вариант навигационного устройства №2 на основе TOF датчика и синтезатора речи. Устройство определяет расстояние с погрешностью примерно 1% и сообщает значение голосом.
В процессе экспериментов было выявлено, что длительность сообщения в обычном темпе составляет примерно 3 секунды, что является очень медленным при движении.
Чтобы представить эту проблему предлагаю провести эксперимент. Встаньте на расстоянии 155 см лицом к стене. Закройте глаза и, говоря вслух число 155, двигайтесь в сторону стены. Вероятнее всего, вы не успеете сказать число полностью до столкновения со стеной.
В итоге был разработан специальный словарь и алгоритм формирования фразы, что позволило сократить длительность сообщения примерно в 5 раз.
Вторым недостатком устройства является наличие наушников, которые не позволяют незрячему человеку прослушивать окружающую среду. Кроме того, постоянное голосовое сообщение расстояния утомляет, а необходимость держать устройство в руке — крайне неудобно.
В результате были сформулированы следующие требования к устройству:
свободные руки;
свободные уши;
молчать, когда не спрашивают;
молчать, если нет движения.
На основе этих требований создано в 2023 г. устройство №4:
Устройство №4 вес 45 гр, размер 6×4x2 см3.динамик, вибромотор, синтезатор речи, носится как медальон. Измеряет расстояния от 10 см до 4 метров. Информацию о препятствии передает тремя видами вибрации в диапазонах расстояний от 200 см до 150 см, от 150 см до 100 см и менее 50 см. Если движения нет некоторое время, то вибрация прекращается. По нажатию кнопки устройство сообщает через динамик точное значение текущего расстояния.
Для сбора экспериментальных данных, с целью решение задач распознавания рельефа поверхности, разработки инерциальной системы навигации и распознавания окружающих предметов на основе 3D TOF сканирования сделал устройство №5:
Устройство №5. Все 48 гр. размеры 6×4x3 см3, SD карта для накопления данных, два TOF датчика.
Первый TOF датчик измеряет расстояние до 12 метров в горизонтальном направлении. Второй TOF датчик измеряет расстояние до 4 метров, установлен под углом 45 гр к горизонту и обеспечивает обнаружение отдельных предметов в 64 сегментах пространства, что позволяет построить 3D образ.
При разработке интерфейса навигационных устройств третьего типа оказались практически не применимыми или малоэффективными решения на основе WiFi или BLE, так как скорость реакции устройства на изменение расстояний резко замедляется, что приводит к столкновению с препятствием, либо необходимости замедления скорости движения незрячего.
Все разработанные мною устройства, кроме №3, содержат аккумуляторы, контроллер заряда, адаптер UART-USB, магнитометр, акселерометр и гироскоп.
В стадии разработки находится инерциальная система навигации, объединяющая датчик TOF, магнитометр, акселерометр и гироскоп. Интеграция этих датчиков позволит повысить точность как автономной ориентации, так и устройств первого типа для глобальной ориентации для нахождения дома и подъезда в пункте назначения и реализовать функции, которые сейчас доступны лишь при использовании дорогостоящих и тяжелых лидаров.
Несколько слов о распознавании лиц и окружающих предметов на основе видео. Планирую использовать для создания устройства распознавания лиц и окружающих предметов на основе ИИ комплект на фото.
В комплект «железа» входит устройство №5, видеокамера с USB, BLE наушники с костной проводимостью и смартфон (на фото не показан).
