Технологии бортовой сети костюма телеприсутствия: исследование и разработка
Данная статья подготовлена мной, мои коллегой@geoinkи нашим руководителем Артёмом Николаевичем Волковым. Также можете посмотреть нашу предыдущую работу на данную тему.
Работа защищена и представлена нами на международной конференции ICACNGC 2023.
Введение
Анализ перспективных сетей 2030, таких как 6G, и услуг телеприсутствия позволяет предположить, что будущее связано с более высокой скоростью передачи данных, низкой задержкой и более широкой доступностью виртуальной и дополненной реальности. В сетях 6G ожидается значительный рост пропускной способности и возможности передачи данных на гораздо более высоких частотах, что откроет новые горизонты для взаимодействия пользователя с виртуальной средой.
Однако, с ростом возможностей сетей 6G и услуг телеприсутствия возникают важные научные и технические аспекты, включая проблематику «костюма телеприсутствия». Костюм телеприсутствия представляет собой технологически сложное устройство, которое согласно ожиданиям будет активно использоваться в такой среде.
Исследования должны сосредотачиваться на разработке костюмов телеприсутствия, которые максимально удовлетворяют требованиям эффективности и комфорта пользователя. Это включает в себя эргономический дизайн для устранения дискомфорта и утомления, оптимизацию энергопотребления и вычислительных ресурсов для обеспечения долгосрочной работы устройств, а также разработку механизмов защиты данных и обеспечения конфиденциальности, учитывая сбор личной информации в контексте телеприсутствия.
Помимо этого, важно уделять внимание стандартизации и нормативному регулированию, чтобы обеспечить совместимость костюмов телеприсутствия с инфраструктурой сетей 6G и соблюдение законодательства в сфере связи и защиты данных.
Таким образом, научные исследования и инженерные разработки в области «костюма телеприсутствия» имеют важное значение для обеспечения успешной интеграции услуг телеприсутствия в перспективных сетях 2030/6G и обеспечения удовлетворения потребностей пользователей в этом контексте.
Анализ актуальных решений
Название статьи | О чём | Анализ |
Brain-controlled telepresence robot by motor-disabled people. | Исследования в области интерфейсов «мозг-машина» позволяют управлять роботами и протезами с помощью сигналов из мозга. Это полезно для людей с ограниченными двигательными возможностями. Основой является запись мозговой активности с помощью нейроэлектроэнцефалографии (EEG). Совместное управление между мозгом и роботом играет ключевую роль, гарантируя интуитивность и эффективность. Интересно, что даже пациенты, находясь далеко от места управления, могут достигать аналогичных результатов, что и здоровые испытуемые. | В данной статье представлены первые результаты использования мозгом управляемого телеприсутствия робота пользователями с ограниченными возможностями. Пациенты, находясь в клинике на расстоянии более 100 км, успешно управляли роботом, несмотря на незнакомую среду. Исследование показало, что совместное управление снижает нагрузку на когнитивные функции пользователей и увеличивает продолжительность их внимания. Быстрое принятие решений оказалось критическим фактором, и пользователи должны были быть быстрыми и точными в передаче ментальных команд для эффективного управления. conclusion: Исследование подчеркивает важность телеприсутствия для людей с ограниченными двигательными способностями. Это позволяет им не только управлять роботами в удаленных местах, но и чувствовать себя частью окружающей среды, что имеет большое значение для социальной и психологической благополучности этой категории пользователей. |
Telemedicine and telepresence for trauma and emergency management. | Телетравматологические программы позволяют сельским пациентам получить доступ к передовым травматологическим и амбулаторным медицинским услугам, которые часто ограничиваются городскими районами. | Исследование подчеркивает положительный вклад телетравматологии в медицинскую практику, так как она способствует первоначальной оценке, лечению и уходу за пациентами, улучшает результаты лечения и позволяет сэкономить средства. Важно отметить, что 6 пациентам могли потенциально спасти жизнь благодаря телемедицинским консультациям, а также что такие программы позволили избежать переводов пациентов и, следовательно, сэкономили средства и ресурсы. Это свидетельствует о значительном потенциале телетравматологии в улучшении доступности и эффективности медицинской помощи в сельских районах. conclusion: В данной статье продемонстрирована потенциальная жизнеспасательная роль телеприсутствия в области оказания медицинской помощи, особенно в контексте удаленных или труднодоступных регионов, где отсутствует доступ к высококачественным медицинским учреждениям |
Long-Term Evaluation of a Telepresence Robot for the Elderly: Methodology and Ecological Case Study | Авторы исследуют возможность использования телеприсутствия для поддержки социальной активности пожилых людей и оценивают отношение и приемлемость таких систем для пользователей, совместно использующих пространство с роботом. Главная задача — разработка методологии для оценки долгосрочного опыта использования телеприсутствия и его воздействия на пользователей в реальных условиях повседневной жизни. | Данная статья представляет методологию MARTA (Multidimensional Assessment of telepresence RoboT for older Adults), предназначенную для долгосрочного исследования адаптивности и совместимости телеприсутствия роботов в области поддержки социального взаимодействия пожилых людей. Методология включает мониторинг ряда релевантных переменных в течение времени, а также акцентирует внимание на разработке протокола для развертывания и поддержки технологии, чтобы минимизировать возможные проблемы, связанные с техническими сбоями. Исследование было оценено на экологическом долгосрочном кейсе с использованием телеприсутствия робота Giraff в доме пожилой пары. Результаты кейс-стади подтверждают эффективность предложенной методологии и поддерживают идею использования роботов-телеприсутствия для поддержки социальной коммуникации и присутствия. conclusion: Телеприсутствие также имеет потенциал помочь пожилым людям продолжать социализироваться в быстро развивающемся мире. Эта технология позволяет пожилым людям оставаться связанными с семьей, друзьями и обществом, несмотря на физическое ограничение или удаленность. Это способствует поддержанию активной и насыщенной социальной жизни у пожилых людей, что может положительно сказаться на их общем благополучии и качестве жизни |
Telepresence robot system for English tutoring | Одной из ключевых проблем, рассматриваемых в данной статье, является нехватка носителей английского языка для обучения в школах в Корее. Высокий спрос на английское образование привел к тому, что многие родители инвестируют в повышение навыков английского языка своих детей. Однако количество носителей английского языка недостаточно для удовлетворения потребностей в школах. Это приводит к нехватке учителей, особенно в пригородных районах. Телеприсутствие через систему видеосвязи рассматривается как одно из решений этой проблемы, позволяя проводить уроки в режиме онлайн, где учитель и ученик могут общаться независимо от своего местоположения. Однако существующие системы телеприсутствия имеют ограничения, связанные с фиксацией положения устройства, что ограничивает свободу движения учителя и его способность взаимодействовать с учениками. Роботы-телеприсутствия могут предложить альтернативу, так как они могут быть удаленно управляемыми учителями и обеспечивать более активное и внимательное взаимодействие с учениками | Из проведенных занятий по английскому языку с использованием системы телеприсутствия робота были выделены следующие ключевые моменты: Учителя были удовлетворены возможностью проводить уроки без перемещения в класс, а также активным взаимодействием с детьми с помощью робота. Несмотря на преимущества, учителя также выявили недостатки, включая ограниченный обзор и сложность управления роботом, особенно при вмешательстве системы предотвращения столкновений. Ученики проявили интерес к роботу и активно участвовали в уроках, однако возникли проблемы с низкой концентрацией других детей, когда учитель взаимодействовал с одним из них, из-за узкого угла обзора монитора на роботе. Дети также испытывали затруднения в просмотре учебных материалов из-за дальнего расположения телевизора от робота, что мешало им сосредотачиваться на уроке. Результаты опроса детей показали увеличение интереса, уверенности и мотивации в изучении английского языка после проведенных уроков с использованием робота-телеприсутствия. conclusion: Таким образом, система телеприсутствия робота показала свой потенциал в обучении английскому языку, однако существуют некоторые ограничения, которые требуют улучшения для более эффективного образовательного процесс |
Проблематика
В современном мире встраиваемые системы играют ключевую роль во многих аспектах повседневной жизни, обеспечивая автоматизацию, мониторинг и сбор данных. В контексте развивающихся технологий Интернета вещей (IoT) взаимодействие между различными устройствами становится все более важным аспектом. Для обеспечения этой связи существует несколько протоколов и стандартов, каждый из которых обладает своими особенностями и применимостью.
В данной статье фокусируется внимание на взаимодействии между Raspberry Pi 4 Model B и WEMOS WiFi & Bluetooth ESP32. Особый интерес представляют три основных протокола связи: SPI (Serial Peripheral Interface), Bluetooth и I2C (Inter-Integrated Circuit). Эти протоколы обеспечивают эффективную передачу данных и управление между устройствами, при этом имея свои уникальные характеристики, предназначенные для различных сценариев применения.
В ходе исследования более детально рассмотрены каждый из этих протоколов, анализируя их задержки передачи данных. Это исследование проводится в рамках создания костюма телеприсутствия. В следующих разделах статьи мы подробно рассмотрим каждый из трех протоколов и представим результаты нашего исследования, позволяя читателям получить глубокое понимание о взаимодействии между Raspberry Pi 4 Model B и WEMOS WiFi & Bluetooth ESP32.
В статье также представлена архитектура бортовой сети костюма телеприсутствия. Приводятся пользовательские сценарии, а также определяется стек научно-прикладных задач, решение которых позволит приблизить внедрение услуг телеприсутствия.
Предлагаемая система
1. Общая архитектура
Рисунок 1 — Многоуровневая архитектура
Костюм телеприсутствия представляет собой периферийное устройство, расположенное на пользовательском уровне. Этот уровень является отправной точкой для передачи данных. После этого происходит установление связи с роутером, который в свою очередь соединен с пограничным сервером и мульти-контроллером сервера. Пограничный сервер и мульти-контроллер сервера взаимодействуют друг с другом для обеспечения бесперебойной связи. Затем пограничный сервер соединен с роутером и маршрутизатором. Роутер обеспечивает связь с роботом, позволяя управлять им и передавать данные. Маршрутизатор, в свою очередь, соединен с облачным хранилищем, что позволяет сохранять и извлекать информацию из облака. Эта сложная структура сетевых соединений обеспечивает функциональность костюма телеприсутствия и его взаимодействие с роботом, а также с облачным хранилищем данных для обеспечения надежной и эффективной работы системы.
Рисунок 2 — Пример использования
2. Пример использования
Костюм телеприсутствия раскрывает свой потенциал в интеграции с роботом-гуманоидом и гибридными дронами, предоставляя уникальные возможности для решения критически важных задач в условиях разрушенной инфокоммуникационной инфраструктуры. В этой сценарной связке, костюм играет ключевую роль в управлении роботом-гуманоидом, который функционирует как мобильная базовая станция. Эта мобильная базовая станция робота-гуманоида сотрудничает с гибридными дронами, создавая Mesh-сеть. Mesh-сеть представляет собой распределенную и самоорганизующуюся инфраструктуру, где каждое устройство в сети может служить как приемником, так и передатчиком данных. Это обеспечивает надежную связь и обширное покрытие в условиях, где традиционные коммуникационные каналы могут быть прерваны. Эта совместная система робота-гуманоида, дронов и костюма телеприсутствия имеет исключительное значение в чрезвычайных ситуациях, таких как стихийные бедствия. Она способствует поиску и спасению людей, находящихся под завалами или потерявшихся в сложных условиях, предоставляя уникальные возможности для обнаружения и координации действий. Эта система является выдающимся примером инновационного применения технологий в области чрезвычайных ситуаций и спасательных операций.
3. Архитектура костюма телеприсутствия
Рисунок 3 — Архитектура бортовой сети
Данная система использует вычислительные ресурсы Raspberry Pi 4 Model B в сочетании с пятью микроконтроллерами ESP32, которые взаимодействуют через интерфейс SPI (Serial Peripheral Interface). Каждый из ESP32 модулей выполняет функцию сбора данных от сенсорных устройств, обеспечивая мониторинг окружающей среды. После сбора данных ESP32 передают эту информацию Raspberry Pi 4 Model B. Raspberry Pi 4 Model B, в свою очередь, выполняет функцию агрегатора данных и передатчика. Собранные данные обрабатываются и передаются по сети с использованием протокола MQTT (Message Queuing Telemetry Transport) через роутер. MQTT Broker принимает и управляет этими данными, предоставляя интерфейс для множества устройств, которые могут подписываться и получать актуальную информацию. Такая система обеспечивает обработку и передачу данных с сенсоров к центральной инфраструктуре, включая мониторинг окружающей среды, автоматизацию процессов и дистанционное управление на основе собранных данных.
Эксперимент и результат
1. Сценарий
Рисунок 3 — Реальная схема
В рамках данного исследования были использованы готовые к программированию микроконтроллеры формата ESP и вычислительные ресурсы Raspberry Pi 4 Model B для создания бортовой системы костюма телеприсутствия. Этот выбор технологической оснастки, хотя и сопровождался некоторыми дополнительными задержками в реализации, не внес влияния на общий тренд, выявленный в ходе исследования.
Использование пяти микроконтроллеров ESP32 с Raspberry Pi 4 Model B предоставило возможность проверить жизнеспособность предлагаемой архитектуры и детально исследовать нефункциональные ограничения интерфейса SPI. Это важный аспект, который позволил оценить производительность и надежность системы.
2. Результаты
Установка соединения по технологии SPI
График 1 — Соединение между Raspberry Pi 4 Model B (Master) и WEMOS WiFi & Bluetooth ESP32 (Slave) по протоколу SPI
Из представленного графика можно сделать вывод, что лучшее качество передачи данных наблюдается в пределах 110 байт. Превышение этой величины приводит к значительному увеличению задержки передачи данных на Raspberry Pi 4 Model B, что становится заметным для человеческого восприятия. С другой стороны, устройство WEMOS WiFi & Bluetooth ESP 32 демонстрирует отсутствие заметной задержки даже при более высоких объемах данных.
Установка соединения по технологии Bluetooth
График 2 — Соединение между Raspberry Pi 4 Model B (Master) и WEMOS WiFi & Bluetooth ESP32 (Slave) по протоколу Bluetooth
По анализу графика можно сделать заключение, что применение технологии Bluetooth не оптимально для целей передачи данных в структуре телеприсутствия, поскольку наблюдаемые задержки превышают приемлемые параметры.
Установка соединения по технологии I2C
График 3 — Соединение между Raspberry Pi 4 Model B (Master) и WEMOS WiFi & Bluetooth ESP32 (Slave) по протоколу I2C
Приемлемые задержки укладываются в пределах передачи данных до 10 байт. Однако, превышение этой величины приводит к неприемлемо большим задержкам, что не соответствует нашим требованиям. Также при передачи данных выше, чем 32 байта происходит сбой в программной части.
Анализ графиков
Путем анализа представленных графиков можно сделать заключение, что протокол SPI оптимален в передаче данных по скорости. Несмотря на изредка возникающие артефакты, их количество ограничено, что позволяет продолжать работу с этим протоколом. В контексте создания костюма телеприсутствия, для чего требуется взаимодействие с пятью устройствами WEMOS WiFi & Bluetooth ESP 32, предстоит оценить задержки именно для этого числа устройств
Соединение пяти WEMOS WiFi & Bluetooth ESP32 и Raspberry Pi 4 Model B
График 4 — Соединение между Raspberry Pi 4 Model B (Master) и 5 WEMOS WiFi & Bluetooth ESP32 (Slave) по протоколу SPI
Выявленные задержки характеризуются значительными значениями, что оказывает существенное влияние на эффективность системы.
Вывод
В конечном итоге, мы пришли к выводу, что требуется создать собственный протокол передачи данных. В планах дальнейшего развития предполагается усовершенствование программной составляющей системы. Основной целью является снижение текущих уровней задержек до 1 миллисекунды с целью обеспечения более высокой эффективности и отзывчивости функционирования системы.
