Ускорение поиска сцен в видео с помощью табличного представления
Что такое табличное представление видео?
Табличное представление видео — это таблица, где в каждой из её ячеек отображается свой кусочек исходного видео. Выглядит это как на изображении представленном ниже. Нужно понимать, что табличное видео не статичная картинка, а именно видео, где один кадр сменяет другой.
Программное обеспечение для просмотра и создания табличного видео
На сегодняшний день есть два приложения для просмотра видео в табличном виде:
- Table View Video Player
- Table View Video Player Lite.
Другие приложения, как правило показывают в табличном виде не одно, а несколько разных видео. Т.е. в каждой ячейке своё видео и это совсем другой случай, который мы сейчас рассматривать не будем.
Из выше названных приложений только Table View Video Player умеет не только проигрывать видео в табличном виде, но и создавать такое видео, записывать результат на диск для последующего просмотра в обычном видео плеере.
Что такое сцены в видео?
Любое видео может быть неоднородным по своему содержанию. Драки могут сменяться общением в кафе, погони — эротикой, а кроме того могут присутствовать сцены прогулок по парку, совершения покупок в магазинах и т. д. Нас могут заинтересовать дорожно-транспортные происшествия, воровство в супермаркетах или несанкционированное проникновение на территорию предприятия.
Скорость просмотра видео в табличном виде
Простой пример
Если у нас есть видео продолжительностью 1 час, то при просмотре его в табличном виде нам понадобится 60 мин / кол-во ячеек. Если у нас табличка 5×5 то понадобится чуть более 2-х минут, если 10×10, то 36 секунд.
Ограничения на размер таблицы
Чем больше ячеек, тем меньше пикселей остаётся на отображение каждого конкретного кадра. Соответственно можно прийти к тому, что в ячейке ничего нельзя будет рассмотреть. Поэтому лучше придерживаться некоторых правил.
А в чём, собственно задача?
Можно назвать следующие типы задач по поиску сцен в видео:
- Мы не знаем, есть ли в видео сцены определённого типа (сексуальные, насилия и т.д). Требуется определить есть ли сцены заданного типа в видео?
- Мы знаем, что в видео содержатся сцены определённых типов. Требуется определить количество таких сцен. Например: сколько было драк в фильме? Или: сколько было погонь в фильме?
- Мы знаем, что в видео содержится определённая сцена. Требуется найти её положение, т. е. время начала сцены в видео.
- Требуется определить продолжительность сцены.
Ага, попался!
Как искать?
- Запускаем приложение Table View Video Player.
- Добавляем видео в список файлов.
- Дважды щёлкаем левой кнопкой мыши по имени файла в списке.
- Ждём несколько секунд.
- Внимательно смотрим на табличку в появившеся окне.
Нашёл! Что делать?
Предположим, что мы видим, что в некоторой ячейке крутится видео, которое нам интересно. Что мы должны сделать дальше?
А вот что. Щёлкаем мышкой левой кнопкой по этой ячейке и, в зависимости от настроек программы, открывается видео плеер, в котором воспроизводится видео с заданной позиции. Если это встроенный плеер, то можно с помощью кнопок немного отмотать назад и установить начало сцены. Потом запустить воспроизведение и дождавшись конца сцены отметить это нажав соответствующую кнопку. Далее сохраняем выделенный кусок в отдельное видео или просто переписываем в блокнотик координаты начала и конца.
Плюсы и минусы табличного видео
Pro
- Высокая скорость просмотра видео, меньше требуется времени для просмотра материала.
- Более цельное восприятие всего видео. Наблюдающий очень быстро понимает о чём видео.
- Если искомая сцена сильно отличается цветами, формой или движением в кадре, то такие сцены очень легко и быстро обнаруживаются.
Contra
- Меньше деталей заметно, есть вероятность пропустить что-то полезное если искомая сцена снята в том же антураже.
- Внимание разделено между несколькими ячейками сразу, что тоже повышает вероятность пропуска искомого события.
Повышаем точность поиска: использование блоков
Если видео имеет небольшую продолжительность, то обнаружить нужную сцену обычно не представляет труда. Однако, если видео очень длинное и снятые сцены очень разноплановые, то наблюдателю приходится по сути одновременно анализировать картинку с нескольких мониторов одновременно. Это очень затрудняет задачу. Посмотрите на изображение ниже.
Однако, можно поступить иначе, и, наоборот, несколько упростить её.
Нам помогут блоки. А именно: разбиваем исходное видео на отрезки (блоки) и их уже вопроизводим в табличном виде. В этом случае видео в соседних ячейках будет отличаться друг от друга по времени не на минуты, а на секунды. Просмотрев (условно) первые пять минут мы переходим с ледующим пяти минутам и так далее. Посмотрите на изображение выше и сравните его с предыдущим. Видно, что последнее более однородно по смыслу.
Контрольный выстрел: сделаем это дважды
Так как скорость просмотра довольно высока, а вероятность пропуска чего то полезного существует, то чтобы минимизировать эти риски можно просматривать видео не один, а нгесколько раз. В этом случае, скорее всего, нужная сцена или событие не окажутся незамеченными. По этой причине лучше всего сперва создать табличное видео, а потом уже его просматривать в обычном видео плеере, а не смотреть исходное видео в приложении Table View Video Player. В последнем случае потребуется гораздо больше вычислительных ресурсов.
Использование Table View Video Player без приобретения лицензии
Приложение Table View Video Player доступно для использования совершенно бесплатно. Однако бесплатная версия имеет следующие ограничения:
- Размер результирующего кадра ограничен разрешением 1280×720.
- Максимальные размеры таблицы ограничены размерами 4×4.
В некоторых случаях этого вполне достаточно и нет смысла тратить деньги на покупку лицензии. Во всяком случае, Вы сможете в 16 раз сократить время на просмотр видео с камеры наблюдения или для решения других подобных задач, а это уже немало!
Практика: примеры поиска
Эксперимент №1. Ночь. Подъезд.
Задача
Ищем тех, кто выходил или входил в подъезд.
Исходное видео
Разрешение: 1024×580
Размер: 294 МБ
Продолжительность: 1:29:59
Ссылка: http://service.aapsoftware.ru/storage/table_view/2019/night_entrance.mp4
Табличное видео
Разрешение: 1920×1080
Размер: 112 МБ
Продолжительность: 0:00:53
Таблица: 10×10
Ссылка: http://service.aapsoftware.ru/storage/table_view/2019/night_entrance_10×10.avi
Решение
Время указано от начала записи.
00:03:06 — Выходит пожилая женщина с коляской и ребёнком.
00:16:45 — Выходят девушка с парнем.
00:20:53 — Выходит девушка.
00:21:19 — Заходит ранее вышедшая девушка.
00:33:38 — Заходит мужчина.
00:47:02 — Выходит мужчина со смартфоном в руке.
00:52:03 — Выходит пара: мужчина и женщина.
01:06:54 — Заходит парень.
Стоп-кадр
Эксперимент №2. День. Автомобили.
Задача
Ищем грузовые автомобили, проезжающие мимо подъезда
Исходное видео
Разрешение: 1024×580
Размер: 1.98 ГБ
Продолжительность: 2:14:28
Ссылка: http://service.aapsoftware.ru/storage/table_view/2019/day_cars.mp4
Табличное видео
Разрешение: 1920×1080
Размер: 260 МБ
Продолжительность: 0:01:20
Таблица: 10×10
Ссылка: http://service.aapsoftware.ru/storage/table_view/2019/day_cars_10×10.avi
Решение
Время указано от начала записи.
00:18:03 — Газель-фургон (направление: к нам)
00:26:06 — Газель-фургон (направление: от нас)
00:31:31 — Газель-фургон (направление: к нам)
00:59:02 — Газель-фургон (направление: от нас)
Стоп-кадр
Домашнее задание
Для тех, кто заинтересовался возможностями поиска видеосцен мы подготовили несколько простых вопросов. Сначала загрузите табличное видео, откройте его в любом видеопроигрывателе, просмотрите и ответьте на вопросы:
- Когда приехала скорая помощь?
- Во сколько уехал микроавтобус стоящий на стоянке?
- Во сколько он вернулся?
- Сколько раз проехал трактор мимо подъезда?
Подводя итоги
Итак, мы узнали, что такое табличное видео. Знаем, для чего оно используется (для поиска сцен в видео, если кто забыл). А также с чем его едят: программа Table View Video Player. Понимаем, что для облегчения поставленной задачи нужно использовать разбиение на блоки и повторный просмотр. Если тема нам интересна — не стесняемся скачивать программу с сайта разработчика и экспериментируем с поиском сцен в видео. Сами видео можно загрузить по ссылкам в предыдущем разделе.
