Уроки компьютерного зрения на Python + OpenCV с самых азов. Часть 6
На прошлом уроке мы научились превращать набор особых точек, найденных специальным детектором особых точек, в граф. Там же я объяснил, зачем это вообще надо. Сегодня мы будем изучать такую область науки о компьютерном зрении, как нахождение областей интереса на изображении. Как правило, это вторая часть этапа обработки изображений (см. первый урок). И так, предположим, нам надо найти на изображении дорожный знак. Пусть мы пока ограничимся только поиском знаков «кирпич». Вот наша рабочая картинка:
Как мы можем сузить место поиска, чтобы найти знак «кирпич». Бросается в глаза, что он ярко красный. Может, попробуем выделить красный канал (ниже вы увидите, почему так делать не надо):
import cv2
my_photo = cv2.imread('bricks\\dsc_0263.jpg')
red_channel = my_photo[:,:,2]
cv2.imshow('MyPhoto', red_channel)
cv2.waitKey(0)
cv2.destroyAllWindows()Вот такую картинку мы получили:
Что делаем дальше? Давайте попробуем применить порог:
import cv2
import numpy as np
my_photo = cv2.imread('bricks\\dsc_0263.jpg')
red_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[red_channel > 200] = [0, 0, 255]
cv2.imshow('MyPhoto', bin_img)
cv2.waitKey(0)
cv2.destroyAllWindows()И что же у нас получилось? А вот что:
Казалось бы, ура, мы нашли знак. Как локализовать скопление ярких точек, другой вопрос. Тут проблема в другом. Сработает ли наш метод так же хорошо на другой картинке, например, вот на такой:
Применяем ту же программу, с тем же эмпирически найденным порогом:
Вот это подстава, да? Программа среагировала на шум, но не «увидела» знак.
А если попробовать преобразовать в формат HSV и выделить именно красный цвет? Напомню, что значит этот формат. Канал H обозначает цвет. В зависимости от числа меняется оттенок. Канал S — насыщенность, при минимальном значении это белый цвет, при максимальном — цвет, соответствующий значению канала H. Канал V — это яркость. Минимальное значение — черный, максимальное — цвет, соответствующий комбинации H и S.
Попробуем выделить канал H:
import cv2
import numpy as np
my_photo = cv2.imread('bricks\\White1.jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 40) * (h_channel > 20)] = [0, 0, 255]
cv2.imshow('h_channel', h_channel)
cv2.imshow('result', bin_img)
cv2.waitKey(0)
cv2.destroyAllWindows()Вот что у нас получилось:
У нас попали в наш диапазон черные стволы деревьев, видимо, они имеют чуть заметный красноватый оттенок. Можно попробовать выделить по яркости:
import cv2
import numpy as np
#my_photo = cv2.imread('bricks\\dsc_0263.jpg')
my_photo = cv2.imread('bricks\\White1.jpg')
#my_photo = cv2.imread('bricks\\videlenka(24).jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
v_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 70) * (h_channel > 20) * (v_channel>100)] = [0, 0, 255]
cv2.imshow('v_channel', v_channel)
cv2.imshow('result', bin_img)
cv2.waitKey(0)
cv2.destroyAllWindows()Вот что у нас получилось:
Относительно неплохо. «Дыры» можно заделать морфологическими операциями (операция закрытие):
kernel = np.ones((5,5),np.uint8)
closing = cv2.morphologyEx(bin_img, cv2.MORPH_CLOSE, kernel)И вот что у нас получится в итоге:
У нас остался шум. Тоже можно убрать методом морфологии, на это раз применим операции открытие:
opening = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel)Если сначала применить открытие, а потом закрытие, то получим вот что:
Шум исчез, но получилось не очень красиво. А если наоборот:
Тут не получилось убрать шум.
Ладно, шум, если что, можно будет убрать другим способом. Вот полный текст программы:
import cv2
import numpy as np
my_photo = cv2.imread('bricks\\1.jpg')
img = cv2.cvtColor(my_photo, cv2.COLOR_BGR2HSV)
h_channel = my_photo[:,:,0]
v_channel = my_photo[:,:,2]
bin_img = np.zeros(my_photo.shape)
bin_img[(h_channel < 70) * (h_channel > 20) * (v_channel>100)] = [0, 0, 255]
cv2.imshow('h_channel', h_channel)
cv2.imshow('v_channel', v_channel)
cv2.imshow('my_photo', my_photo)
kernel = np.ones((5,5),np.uint8)
opening = cv2.morphologyEx(bin_img, cv2.MORPH_OPEN, kernel)
closing = cv2.morphologyEx(opening, cv2.MORPH_CLOSE, kernel)
cv2.imshow('result', closing)
cv2.waitKey(0)
cv2.destroyAllWindows()А сейчас проверим, а сработает ли наш метод на другой картинке:
Как видим, сработал. Еще одна картинка:
А тут не увидел. Зато среагировал на знак «Остановка запрещена». Кстати, а как быть, если мы хотим не «Кирпич» детектировать, а другой знак? Может, попробовать как-то реагировать на форму? Давайте попробуем поискать круглые объекты.
Для начала, вспомним, как выделять контур:
import cv2
import numpy as np
my_photo = cv2.imread('bricks\\White1.jpg')
img_grey = cv2.cvtColor(my_photo,cv2.COLOR_BGR2GRAY)
#set a thresh
thresh = 100
#get threshold image
ret,thresh_img = cv2.threshold(img_grey, thresh, 255, cv2.THRESH_BINARY)
#find contours
contours, hierarchy = cv2.findContours(thresh_img, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
#create an empty image for contours
img_contours = np.zeros(my_photo.shape)
# draw the contours on the empty image
cv2.drawContours(img_contours, contours, -1, (255,255,255), 1)
cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
cv2.imshow('contours', img_contours) # выводим итоговое изображение в окно
cv2.waitKey()
cv2.destroyAllWindows()Посмотрим, как будет выделяться контур на разных картинках:
В обоих случаях окружность видна, но много шума. Как отделить от шума? В OpenCV есть замечательная функция HoughCircles (в нее, судя по всему, уже встроен детектор контуров, так как она работает с самим изображением):
import cv2
import numpy as np
my_photo = cv2.imread('bricks\\1.jpg')
#my_photo = cv2.imread('bricks\\White1.jpg')
img_grey = cv2.cvtColor(my_photo,cv2.COLOR_BGR2GRAY)
rows = img_grey.shape[0]
circles = cv2.HoughCircles(img_grey, cv2.HOUGH_GRADIENT, 1, rows / 8,
param1=100, param2=30,
minRadius=1, maxRadius=100)
res = np.zeros(my_photo.shape)
if circles is not None:
circles = np.uint16(np.around(circles))
for i in circles[0, :]:
center = (i[0], i[1])
# circle center
cv2.circle(res, center, 1, (0, 100, 100), 3)
# circle outline
radius = i[2]
cv2.circle(res, center, radius, (255, 0, 255), 3)
cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
cv2.imshow('res', res) # выводим итоговое изображение в окно
cv2.waitKey()
cv2.destroyAllWindows()Данная программа нашла довольно много окружностей:
Это можно отрегулировать порогами, задающиеся параметрами param1 и param2:
circles = cv2.HoughCircles(img_grey, cv2.HOUGH_GRADIENT, 1, rows / 8,
param1=150, param2=50,
minRadius=1, maxRadius=100)
Более наглядно будет, если отобразить найденные окружности на исходном изображении:
res = np.zeros(my_photo.shape)
if circles is not None:
circles = np.uint16(np.around(circles))
for i in circles[0, :]:
center = (i[0], i[1])
# circle center
cv2.circle(my_photo, center, 1, (0, 100, 100), 3)
# circle outline
radius = i[2]
cv2.circle(my_photo, center, radius, (255, 0, 255), 3)
cv2.imshow('origin', my_photo) # выводим итоговое изображение в окно
А как сработает на другой картинке?
Смотрим:
Здесь, как видим, шума слишком много. Но один из кругов описывает искомый знак.
К сожалению, метод поиска круга срабатывает тоже не всегда. Вот на этой фотографии программа нашла только шум:
Как можно помочь в данной ситуации?
Первое, можно попробовать «подсунуть» функции HoughCircles не целую картинку, а готовый контур. Только контур следует нарисовать в матрице типа uint8, вот так:
#create an empty image for contours
img_contours = np.uint8(np.zeros((my_photo.shape[0],my_photo.shape[1])))И что мы получим? Вот что (знаки нашел, но шум остался):
Другой вариант — предварительная фильтрация (кто там в комментах возмущался, зачем я пишу про фильтры?):
filterd_image = cv2.medianBlur(my_photo,7)В данном случае была применена медианная фильтрация (но функции HoughCircles была «скормлена» картинка) и вот что получилось:
На этом урок закончен, но будет еще. До новых встреч.
