Скатерть-детектив: распознавание объектов за счет измерений емкости
Мир, окружающий нас, весьма материальный, как бы мы ни относились к этому. Каждый день к нам в руки попадают десятки разных предметов: от кухонных принадлежностей и столовых приборов до продуктов питания и личных вещей. Некоторые из этих вещей имеют свойство прятаться от нас на самом видном месте. Забыть ключи на столе или телефон на прикроватной тумбе это не редкость. Это раздражающее событие, видимо, и послужило вдохновением для ученых из Дартмутского колледжа, которые разработали ткань, способную определять, что на ней лежит. Из чего сделана чудо-скатерть, каков принцип ее работы, и что еще она умеет, кроме поиска потерянных ключей? Ответы на эти вопросы мы найдем в докладе ученых. Поехали.
Основа исследования
Авторы исследования отмечают, что существующие на данный момент «интерактивные» ткани работают по крайне ограниченному принципу. Да, они позволяют преобразовывать повседневные предметы в чудеса электроники, однако им недостает свободы. Суть в том, что метод считывания данных, присущий этим тканям, в первую очередь основан на действиях пользователя (прикосновение, деформация и т.д.). Следовательно, ткань не имеет ни малейшего представления, с какими предметами она контактирует. Своего рода кризис личности для умной ткани, которая не знает своего предназначения в жизни.
В рассматриваемом нами сегодня труде ученые предложили использовать метод емкостного считывания, который позволяет ткани понять, с какими объектами она контактирует. Данный метод работает даже с неметаллическими предметами, коих в быту человека предостаточно. После считывания информации об объекте ткань может реализовать то или иное действие, заложенное в нее программой. Например, человек положил на стол несколько разных овощей или фруктов, а умная скатерть может предложить рецепты блюд, где эти овощи используются (1b). Кроме того ткань также способна распознавать изменения, происходящие с объектами. Например, она может определить, что воды в горшке с комнатным растением стало мало и его надо полить (1с).
Изображение №1
В ходе исследования был реализован прототип, названный Capacitivo. Он представляет собой сеть электродов 12×12, сделанную из проводящей ткани, прикрепленной к текстильной подложке (1а). Точность определения объектов по результатам тестирования прототипа составила 94.5%.
Умная скатерть кажется весьма любопытной концептуально, но необходимо понять принцип ее работы прежде, чем рассыпаться в восторженных возгласах.
Внутри умной скатерти
Фундаментом умной ткани является, как мы уже знаем, процесс обнаружения изменений емкости электродов под воздействием различных объектов. Например, когда неметаллический объект находится в контакте с электродами, электрическое поле, приложенное от электродов, вызывает электрическое смещение внутри объекта. Величина электрического смещения варьируется для разных объектов в зависимости от их диэлектрической проницаемости.
Электрическое смещение изменяет заряд, накопленный в электродах, и, в свою очередь, изменяет емкость. Таким образом, можно обнаружить или распознать объект за счет определения сдвига измеренной емкости.
Если же с электродами контактирует металлический объект, то смещение измеренной емкости в первую очередь вызвано коротким замыканием или наличием диэлектрика (например, воздуха) в крошечных промежутках между неровностями поверхности объекта и электрода. Из этого следует, что изменение емкости не связано с материалом и не может использоваться для распознавания объектов.
Ученые отмечают, что традиционные методы измерения емкости (например, по отношению к времени) недостаточно точны для их разработки. Посему был использован подход, основанный на резонансе, когда чувствительный элемент состоит из LC-резонансного контура (замкнутый участок электрической цепи), включая индуктор и конденсатор (электроды датчика).
Путем точного измерения резонансной частоты (f) контура емкость (С) электродов может быть рассчитана по следующей формуле (где L — индуктивность):
С = 1 / 4π2f2L
Метод на основе резонанса имеет два важных преимущества над альтернативными методами. Во-первых, он менее восприимчив к шумам EMI (от electromagnetic interference, т.е. электромагнитные помехи), следовательно, отношение сигнал-шум (SNR от signal-to-noise ratio) у него гораздо лучше. Во-вторых, он позволяет измерять емкость в более широком диапазоне (от 1 пФ до 250 нФ) со сверхвысоким разрешением (0,08 фФ).
пФ — пикофарад; нФ — нанофарад; фФ — фемтофарад.
Изображение №2
Датчик, считывающий информацию об объектах, состоит из копланарных электродов, соединенных рядами и столбцами, и заземляющей поверхности (схема выше). При такой схеме возникает два типа емкости: взаимная — между соседствующими электродами и собственная — между электродами и заземленной поверхностью. Обе емкости подвергаются воздействию со стороны объекта контакта. Совокупность емкостей позволяет сделать сигнал более выраженным, т.е. фиксировать даже незначительные изменения емкости.
Некоторые электроды также действуют как конденсаторы, соединяющиеся с заземлением, поэтому изменения обоих типов емкости вместе влияют на показания датчика (частоту колебаний). За счет этого возможно измерить воздействие контактирующего объекта путем сканирования всех электродных строк и столбцов.
Изображение №3
Однако не все так идеально. Из-за связи электродов с заземлением (собственная емкость) показания датчика в определенном месте искажаются для всех электродов, подключенных в одной строке или столбце, что было названо учеными эффектом пересечения (3b). Этот эффект влияет на точность измерений из-за шума за пределами области контакта объекта и умной ткани. Данную проблему удалось решить дополнительным измерением контура области контакта и сбором показаний датчиков исключительно внутри этого контура (3c).
Изображение №4
После определения основных принципов работы устройства ученые приступили к его производству. Электроды для умной скатерти были созданы с использованием проводящей ткани, прикрепленной к слою непроводящей подложки.
Проводящую ткань прикрепили к хлопковой подложке с помощью обычного клея и утюга. Далее проводящий слой обработали с помощью режущей машины Cricut Air Explorer, чтобы в результате получить ромбовидные электроды (4а). Такая форма обусловлена максимизацией области восприятия в двумерном пространстве. После дополнительного нагревания с поверхности устройства были удалены остатки клея (4b).
Ряды электродов были соединены между собой, грубо говоря, собственным материалом, т.е. изначально они были вырезаны в ряд ромбов с полосами между ними. А вот столбцы электродов соединялись посредством проводящей нити (4с). В процессе пришивания нить проходит черед подложку и проводящий слой, за счет чего формируется соединение между передней и задней частями датчика, что необходимо для прокладки линий подключения столбцов к задней части. Далее на заднюю сторону датчика был добавлен заземленный экранирующий слой, сделанный из трикотажной проводящей ткани (4d).
В результате была получена сетка электродов 12×12 (15.6 × 15.6 см). Сам процесс изготовления занял не более 20 минут, а стоимость около 30 долларов.
Изображение №5
Еще одним важным элементом будущего устройства является, конечно же, сенсорная плата (фото выше), в которой использовался LC-контур и микросхема FDC2214, измеряющая совместный эффект взаимной и собственной емкостей.
На стороне передатчика (электроды колонны) схема состоит из генератора волн (AD5930, аналоговое устройство) и усилителя (AD8066ARZ, аналоговое устройство), который генерирует сигнал возбуждения, используя синусоидальную волну 100 кГц с пиковым напряжением в 5 В. Сигнал возбуждения направляется на электроды, расположенные в ряд, через мультиплексоры. На стороне приемника (электроды в ряд) ток смещения от электродов столбцов преобразовывался и фильтровался в усиленный сигнал напряжения с использованием двух усилителей.
Изображение №6
Далее система сообщала о емкости, вычисляя среднеквадратичное значение сигнала напряжения, используя размер окна в 100 образцов с частотой дискретизации 1 МГц. Помимо вышеперечисленных элементов, в устройство также были установлены микроконтроллер на базе ARM, Bluetooth и восемь мультиплексоров.
Принцип работы умной скатерти
Когда объект находится в контакте с тканевым датчиком, датчик сообщает о двух массивах 12×12 значений емкости, один из LC-контура, а другой — из схемы считывания взаимной емкости.
Перед использованием необработанных данных датчика для распознавания объектов необходимо было вычесть фоновый шум из показаний датчика для всех пар электродов (столбец+строка). Для этого создавался двумерный профиль шума, построенный путем усреднения показаний датчика во всех точках в пределах скользящего окна размером 5. Данный профиль обновлялся автоматически, когда объект не был обнаружен и когда ни одно местоположение не сообщило о среднем значении датчика (текущее значение минус начальное значение), превышающем заданный порог (например, 3000 единиц необработанных показаний датчика FDC2214). Когда объект находился в контакте с датчиком, система обнаруживала присутствие объекта, если среднее значение данных датчика по всем точкам превышает пороговое значение (5000), а стандартное отклонение ниже порогового значения (1000). Далее из данных LC-цепи из области контакта объекта извлекался его двумерный емкостный отпечаток.
Распознавание объектов выполнялось посредством машинного обучения. В результате была получена совокупность характеристик, по которым система могла определить контактирующий объект.
Практические испытания умной скатерти
Для дальнейшей оценки работоспособности, точности и эффективности устройства были проведены практические тесты. В них приняли участие 10 добровольцев правшей (6 мужчин и 4 женщины, средний возраст 22.9 года).
В качестве контактирующих объектов было использовано 20 различных предметов, которые мы часто встречаем как у себя дома, так и в офисах.
Изображение №7
Предметы для тестов:
- личные вещи: футляр для AirPods (A); губная помада (B); кредитная карта Discover ©; бонусная накопительная карта JCPenney (D);
- продукты питания: киви (E); авокадо (F); грейпфрут (G); кусочек сыра в пластиковой упаковке (M);
- кухонные предметы: соль в цилиндрической упаковке (L); свеча в стеклянной банке (O); пустой стакан (J); стакан с водой (K); пустая миска (H), миска супа (I);
- офисные предметы: внешний накопитель (T); дезинфицирующее средство для рук (N); статуэтка (S), книга ®; растение в горшке (Q); растение в горшке после полива (B).
Важно отметить, что вышеперечисленные объекты различаются по геометрии и свойствам материала. Также были использованы емкости (пустые/наполненные), чтобы проверить возможность системы определять состояние объектов-контейнеров. Подобную задачу должна выполнить система и в отношении растения в горшке, где необходимо определить полит он или нет. Другими словами, перед системой была поставлена простая задача — понять, что лежит на скатерти и в каком оно находится состоянии.
Изображение №8
Точность системы составила 94.5%. Матрица неточностей результатов исследования показывает, что 18 из 20 протестированных объектов показали точность выше 90%.
Система отлично распознавала даже схожие по форме и размеру объекты. Например, она могла точно различить авокадо и киви. Это кажется легкой задачей, но не стоит забывать, что у этой системы нет ни рук, ни глаз, ни носа, чтобы определить разницу между этими фруктами, как это делаем мы.
Любопытно, что точность определения грейпфрута была рекордной (98%), что связано с его уникальным емкостным следом.
Система также успешно определяла состояние объектов-контейнеров. Точность определения пустого или наполненного стакана составила 94%. Тест с миской супа, проведенный 20 раз, также показал успешное выполнение задачи. Система с 99% точностью смогла определить различие между влажной и сухой почвой в горшке с растением.
Ошибки классификации обычно возникали, когда объект не имел четкой емкости, например, с низкой диэлектрической проницаемостью (кредитные карты или книга). Так накопительную карту JCPenney система распознавала с трудом (точность 85%). Проблема заключается еще и в отсутствии стопроцентного контакта подобных объектов с тканью ввиду неровностей на ее поверхности. Из-за этого система иногда путала карту JCPenney и футляр для AirPods.
Важно понимать, что данный вариант устройства является прототипом, который физически не может работать идеально, пока не будут внесены доработки, основанные на результатах тестов, удачных или же нет.
Бонусный раунд тестов
В дополнение к основному исследованию ученые решили провести парочку дополнительных, в которых они хотели выяснить, насколько хорошо система может различать жидкости и объекты в вертикальном положении (грубо говоря, если объект лежит в кармане).
Для испытаний с жидкостями были использованы: холодная вода, горячая вода, кола, яблочный сидр, молоко, пиво и пустой стакан. Все эти жидкости должны обладать разной диэлектрической проницаемостью из-за разницы в температуре и составе (концентрация сахара и соли).
Изображение №9
Проблема реализации данного теста по распознаванию жидкостей заключается в том, что разница между напитками весьма незначительная в глазах системы. Результат первоначального тестирования показал низкую производительность системы на тестируемых жидкостях, в первую очередь из-за небольшого несоответствия показаний датчика в разных местах текущего прототипа. Посему было решено проводить дальнейшие тесты с жидкостями, когда измерения проводятся в изолированной области, выбранной случайным образом внутри датчика (фото выше).
Данное испытание проводилось в два этапа (обучение и фактические тесты). Во время обучения системы доброволец помещал стакан с жидкостью на одну из областей устройства с массивом электродов 7×7. Все жидкости были комнатной температуры (~ 23 ºC), за исключением горячей воды (80 ºC).
Анализ данных тестирования показал, что система опознавала жидкости с точностью 90.71% (график на изображении №9). Самый низкий результат показало пиво (65%), так как система путала его с сидром, колой и молоком. Если же убрать пиво из ряда тестируемых жидкостей, то средний показатель точности возрастает до 96.67%.
Изображение №10
Далее проводилось испытание с вертикально размещенными объектами. В этом случае использовалось устройство в форме кармана размерами 15.6 × 15.6 см (фото выше) и девять объектов из предыдущих тестов (футляр для AirPods, губная помада, киви, авокадо, ломтик сыра в пластиковой упаковке, кредитная карта Discover, бонусная карта JCPenny, книга и внешний накопитель). Однако карта JCPenny была исключена, так как ее размеры были слишком малы для нормального распознавания системой. В ходе тестов человек помещал в карман случайный объект из вышеперечисленных.
Изменение форм-фактора устройство, естественно, негативно сказалось на его работе. Средняя точность во время тестов составила 70%. Объясняется это тем, что данная система основана на контакте с объектом. Когда объект находится в кармане, контакт с датчиками может быть нестабильный.
На графике выше показана совокупность результатов данного тестирования. Из данных следует, что системе сложно работать с объектами с прямыми краями (книга или помада). Это связано с тем, что площадь контакта объектов варьировалась случайным образом в зависимости от того, как они были размещены и как контактировали с датчиком внутри кармана.
Изображение №11
Практическое применение данного устройство ограничено лишь воображением человеком. Разработчики умной ткани предложили несколько вариантов. В одном из них датчики в карме куртки определяют наличие/отсутствие футляра для AirPods (11а), что может помочь в его поисках, либо напоминать человеку о каком-то почти забытом предмете (11b).
Допустим, человек решил совершить какую-то покупку через интернет-магазин. Вместо ввода платежных данных своей карты в определенные поля, ему достаточно положить свою карту на скатерть, которая считает данные и самостоятельно заполнит соответствующие поля (11с). Хотя такой вариант применения, как мне кажется, требует значительных доработок в аспекте безопасности информации и пользовательского контроля над самим процессом.
Что касается кухни, то умная скатерть может стать вербальным помощником в готовке любимых блюд (11d), подсказывая те или иные шаги рецепта. Ну и, конечно же, подобная система, распознавая жидкость, может вносить коррективы в программы отслеживания потребленных калорий (11е) или просто напоминать пользователю помыть посуду (11f).
Авторы умной ткани рассказывают о ее особенностях.
Для более подробного ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.
Эпилог
В данном труде ученым удалось создать ткань, которая способна распознавать объекты, с которыми она контактирует. Это возможно благодаря оценке изменений емкости, возникающий во время воздействия объекта на электроды, вшитые внутрь ткани. Помимо определения, какой объект лежит на умной скатерти, существует возможность определить некие его характеристики, что было показано на примере контейнеров (пустой/наполненный стакан и миска), а также состояние (политое / не политое растение в горшке).
Не спорю, что подобные исследования могут показаться весьма комичными, особенно на фоне более масштабных трудов, нацеленных на поиски внеземной жизни, к примеру. Однако многие труды, проведенные и десять, и тысячу лет тому назад тем или иным образом влияли не только на глобальные вопросы, но и на бытовые, с которыми мы сталкиваемся каждый день. Мы уже неоднократно наблюдали, когда устройство/система/предмет, созданные с одной целью, в будущем приобретали множество новых применений. Ярким примером тому может быть макраме, оригами или даже игрушка-пружина cлинки.
Устройство, естественно, требует доработок, чем ученые и намерены заняться в будущем. Посему пока сказать сложно, как скоро скатерти на наших столах начнут ворчать на нас по поводу лишнего кусочка торта перед сном или не помытой тарелки.
Благодарю за внимание, оставайтесь любопытствующими и хорошей всем рабочей недели, ребята. :)
Немного рекламы
Спасибо, что остаётесь с нами. Вам нравятся наши статьи? Хотите видеть больше интересных материалов? Поддержите нас, оформив заказ или порекомендовав знакомым, облачные VPS для разработчиков от $4.99, уникальный аналог entry-level серверов, который был придуман нами для Вас: Вся правда о VPS (KVM) E5–2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps от $19 или как правильно делить сервер? (доступны варианты с RAID1 и RAID10, до 24 ядер и до 40GB DDR4).
Dell R730xd в 2 раза дешевле в дата-центре Equinix Tier IV в Амстердаме? Только у нас 2 х Intel TetraDeca-Core Xeon 2x E5–2697v3 2.6GHz 14C 64GB DDR4 4×960GB SSD 1Gbps 100 ТВ от $199 в Нидерландах! Dell R420 — 2x E5–2430 2.2Ghz 6C 128GB DDR3 2×960GB SSD 1Gbps 100TB — от $99! Читайте о том Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5–2650 v4 стоимостью 9000 евро за копейки?
