Sanya Nischebrod Touch — потрогать самодельное будущее30.01.2018 18:36

Осенью прошлого года было представлено достаточно интересное гиковское устройство, совмещающее в себе проектор и сенсорный экран.
Маркетологи позиционировали его как устройство в каждый дом, но мы-то с вами знаем, что это чисто гиковская игрушка.
Я был в восторге от первых фотографий (фейковых, кстати).
Но когда была озвучена цена в 150 000 рублей за устройство — как и положено нищеброду, не смог удержаться и высказался в духе «За что, чёрт возьми! Это же очень простое устройство!».
Технически устройство и правда не выглядит сложным — как и многие гики, proof of concept сенсорного проектора я делал много лет назад и считаю это достаточно простой штукой. Однако, и в личку, и в комментариях к той статье меня попросили чуть подробнее описать процесс сборки. Так и родился проект Sanya N Touch.

Статья об оригинальном устройстве вышла на ГТ в конце ноября. Как только стало понятно, что надо делать свой проект — заказал проектор. И он очень удачно пришел на новогодние праздники, так что мне было чем заняться в первую неделю января. Основная причина задержки — ожидание заказанного под задачу проектора.

Цель

Если Вы — такой же гик, как и я, то вам очень хочется поиграться с тачскрином на проецируемом изображении.
Но платить 3000$ за игрушку, которая увлечет максимум на час вряд ли захочется.
Цель — создать дешевую альтернативу.
Понятно, что воткнуть всё в компактный корпус не получится. Конкурировать на этом поле с фабричным производством бессмысленно. В остальном же — раздолье. :)

Оборудование

Девайс состоит из трех частей:
1) Проектор
2) Камера
3) Компьютер, чтобы всё это считать.

Проектор

У меня есть нормальный FullHD проектор, однако он большой, тяжелый и дорогой. Снимать его со стойки, ставить на неустойчивый штатив для экспериментов очень не хотелось.
Да и, как мы знаем, в оригинальном устройстве FullHD — это фикция. Так что не будем отставать.
Специально под Sanya N Touch я нашел проектор GM 60 в Китае за 2900 рублей с курьерской доставкой до дома. Кстати, в магазине ledunix год назад такой проектор со скидкой продавался всего лишь за 7000 рублей! 640×480 — идеальное разрешение, однозначно берем.

+2900 рублей

Камера

Обычную камеру использовать нельзя. Постоянно меняющееся изображение не позволит сколь-либо уверенно детектировать руку пользователя.
Вариантов два:
1) Переделать обычную камеру в ИК камеру
2) Взять готовую камеру глубины
Есть, конечно, и другие экзотические варианты. Например, можно использовать тепловизор для гарантированного детекта конечностей пользователя.
Кстати, теплак в комплексе с камерой глубины сводит все артефакты детектирования практически к нулю. Но это ОЧЕНЬ дорого. Хм… Может поэтому оригинальное устройство стоит 150 000?
Не будем так сильно заморачиваться. Возьмем кинект. Тем более что у меня он уже есть и покупать ничего не надо.
К сожалению, кинект сняли с производства, из-за чего цена на оставшиеся комплекты резко выросла. Но можно примастрячить и новый iPhone, в него как раз добавили камеру глубины, аналогичную кинекту.
Хм… Может в оригинальном устройстве тоже внутри айфон спрятан? Это тоже всё объясняет.
Мне кинект обошелся в 7600 рублей + адаптер для ПК — в 2700.

+10300 рублей

Компьютер

Т.к. мы делаем портативный девайс, то под него пришлось прикупить ноут.
Есть мнение, что кинект очень требователен к железу. Это ошибочное мнение.
Кинект — это просто камера. Зато очень требователен к железу софт, который анализирует данные с камеры.
Мы же будем работать напрямую с изображением. Хотя, конечно, обработку всё равно придется делать.
Ноут я купил Asus X55SV за 2000 рублей. Всё с ним хорошо, но знающие люди уже посмеиваются.
Кинект требует USB 3.0 и на USB 2 не заработает нормально, а на этом ноуте USB 3 отсутствует как класс. Поэтому пришлось прикупить PCMCIA карточку расширения для ноута с USB 3.0 портами. Это, мягко говоря, лотерея — кинект весьма придирчив к USB и даже не со всеми честными USB 3 работает.
Карточка обошлась в 400 рублей.

+2400 рублей

Всякая всячина

600 рублей — штатив
Обрезки алюминиевого профиля и старая фанера — бесценнобесплатно
Работу по изготовлению скворечника считать не будем:

Итого

16200 рублей — бюджет данного проекта

Программное обеспечение

Нам понадобится libfreenect2, openni и opencv.
libfreenect2 отвечает за низкоуровневую работу с kinect.
openni — универсальная библиотека верхнего уровня, через которую общаемся с libfreenect.
Если вы будете использовать первый кинект или, например, asus xtion — изменится только установленный драйвер, а весь код для openni останется прежним.
opencv используем для обработки изображения, полученного с камеры.

Общий алгоритм работы

Инициализация:
1) Совмещаем спроецированный экран и изображение, полученное с камеры.
2) В течении нескольких секунд сохраняем текущее состояние камеры глубины в буфере. Несколько секунд нужны, чтобы накопилась ошибка и в дальнейшем меньше влияла.
Работа:
3) Постоянно забираем карту глубины, с помощью opencv находим руку и крайнюю точку руки.
4) Используем найденную точку в качестве указателя мыши.

Детали реализации

Инициализация контекста

if (openni::OpenNI::initialize()==openni::STATUS_OK)
{
  if (m_Device.open(openni::ANY_DEVICE)==openni::STATUS_OK){
    m_Device.setImageRegistrationMode(openni::IMAGE_REGISTRATION_DEPTH_TO_COLOR);
    if (m_DepthStream.stream.create(m_Device, openni::SENSOR_DEPTH) == openni::STATUS_OK){
      if (m_DepthStream.stream.start() == openni::STATUS_OK){
        if (m_ColorStream.stream.create(m_Device, openni::SENSOR_COLOR) == openni::STATUS_OK){
          if (m_ColorStream.stream.start() == openni::STATUS_OK){

openni: OpenNI: initialize () — запускаем openni
m_Device.open (openni: ANY_DEVICE) — открываем первую попавшуюся камеру. Хорошо работает, если камера одна. Если их несколько, то лучше указывать — какую конкретно хотим открыть.
m_Device.setImageRegistrationMode (openni: IMAGE_REGISTRATION_DEPTH_TO_COLOR) — просим openi взять на себя работу по совмещению изображений с камер.
Дело в том, что камер у того же кинекта две. Одна — обычная и одна — камера глубины. И они физически находятся в разных местах. Соответственно, изображение, получаемое от них, различается. И различается оно очень сильно, т.к. у них еще и характеристики разные. К счастью, openni умеет с этим бороться, выдавая совмещенные друг с другом стримы.
Остальные строки простые — создаем стрим, запускаем стрим.

Определение фона

Заливаем экран проектора черным цветом. И в течении нескольких секунд читаем данные с двух стримов.
В карту фонового цвета записываем самые яркие значения, в карту фоновой глубины — самые ближние к камере.
Яркость получаем из RGB по формуле: 0.2125*RED+ 0.7150*GREEN + 0.0722*BLUE

Фон (глубина):

Фон (яркость):

Определение позиции экрана (синхронизация с камерой)

Благодаря openni изображение с камеры глубины и с обычной камеры геометрически совпадают.
Значит, если мы сможем определить на изображении с обычной камеры где находится экран — сможем определить и где экран на карте глубины.
Показываем через проектор белый экран, считываем его и заполняем буфер по следующему алгоритму:
Если пиксель ярче, чем фоновый — заливаем белым, если темнее — черным.
На выходе получаем двухцветное изображение:

Теперь в дело вступает opencv.
Создаем cv: Mat (матрица, двумерный массив, основной тип в opencv для хранения изображений и других двумерных данных), передав в качестве изображения туда наш двухцветный снимок:

cv::Mat img(m_ColorStream.resolution.height(), m_ColorStream.resolution.width(), CV_8UC1, m_ColorNoiseMap, m_ColorStream.resolution.width());

и просим opencv найти все контуры на изображении:

cv::findContours( img, contours0, hierarchy, cv::RETR_TREE, cv::CHAIN_APPROX_SIMPLE);

Естественно, он найдет не только экран, но и мусорные контуры, которые появились на снимке.
Однако, вполне очевидно, что наш контур тот, что обладает самым большим периметром. Так что перебираем все контуры и работаем только с самым большим:

int screenContourIndex = 0;
    double maxPerimeter = cv::arcLength(contours0[0],true);
    for (int i = 1; i

uint16_t diff = backgroundValue - currentValue;
if (diff>HAND_TRACKING_MIN_DIFF){
  if (diff>HAND_TRACKING_MAX_DIFF)
    diff = 0;
  if (diff>255)
    diff = 255;  
}
else
  diff = 0;
*testMap = diff;

cv::GaussianBlur(hMap, img, cv::Size(5, 5),0);

cv::threshold(img,img,10,255,cv::THRESH_TOZERO);

cv::findContours( img, contours0, hierarchy, cv::RETR_TREE, cv::CHAIN_APPROX_SIMPLE);

for (int c = 0; c

cv::findContours( img, contours0, hierarchy, cv::RETR_TREE, cv::CHAIN_APPROX_SIMPLE);

cv::fitLine(contours0[maxIndex],line,CV_DIST_L2,0,0.01,0.01);