[Перевод] CVAT. Инструкция по разметке01.08.2022 12:46

Немногие знают, что популярный open source инструмент Computer Vision Annotation Tool разрабатывали наши ребята в Нижегородском офисе Intel.

Весной Intel приостановил все деловые операции в России. Таким образом ребятам вырубили все доступы, а инструмент перестал обновляться.

Но не все так плохо! Сейчас команда CVAT сделала трансформацию, отделилась от Intel и продолжила развивать уже новый CVAT.ai своими силами.

Подробнее о том, как CVAT.ai будет развиваться, вы можете узнать из подкаста Антона Мальцева «Заметки Computer Vision инженера»

Мы в TrainingData.Solutions очень любим CVAT и постоянно им пользуемся. CVAT всегда позиционировал себя как глобальный международный инструмент для разметки данных. К сожалению, не все разметчики в России знают английский язык. Чтобы популяризировать CVAT и помочь русским разметчикам им пользоваться, мы решили перевести его инструкцию на русский язык. Надеюсь эта инструкция вам пригодится.

1.1 — Авторизация

Панель администрирования

Перейдите к панели администрирования Django. В ней можно выполнять следующие действия:

• Создавать/редактировать/удалять пользователей

• Управлять разрешениями пользователей и доступом к инструменту.

1.2 — Создание задачи аннотирования

Инструкции по созданию и конфигурированию задачи аннотирования.

Создайте задачу аннотирования, нажав на кнопку +, и выберите пункт Create new task на странице задач или на странице проекта.

Учтите, что задача будет создана для организации, которую вы выбрали на момент создания. Подробнее об организациях можно прочитать здесь.

Укажите параметры задачи:

Basic configuration (базовая конфигурация)

Name (название) — название создаваемой задачи.

Project (проект) — проект, с которым будет связана эта задача.

Labels (метки) — существует два способа работы с метками (они доступны, только если задача не связана с проектом):

Можно указывать название метки в поле Label name и выбрать цвет для каждой метки.

При необходимости можно добавить атрибут и задать его свойства, нажав на Add an attribute:

Здесь доступны следующие действия:

1. Задание имени атрибута.

2. Выбор способа отображения атрибута:

   • Select — раскрывающийся список значений

   • Radio — используется, когда нужно выбрать только один вариант из нескольких предлагаемых.

   • Checkbox — используется, когда нужно выбрать из нескольких предлагаемых вариантов любое их количество.

   • Text — используется, когда атрибут вводится как текст.

   • Number — используется, когда атрибут вводится как число.

3. Задание значений для атрибутов. Значения можно разделять, нажимая клавишу Enter. Вводимое значение отображается как отдельный элемент, который можно удалить клавишей Backspace или нажав на кнопку закрытия (x). Если указан способ отображения атрибута Text или Number, то по умолчанию введённое значение будет отображаться как текст (т. е. можно указывать формат текста).

4. Флажок Mutable обозначает, будет ли атрибут меняться от кадра к кадру.

5. Удалить атрибут можно, нажав на кнопку закрытия (x).

Для добавления новых меток нажмите на кнопку Continue. Если вам нужно отменить добавление метки, нажмите на кнопку Cancel. После добавления всех необходимых меток нажмите на кнопку Done. После нажатия на Done добавленные метки будут отображаться как отдельные элементы другого цвета. Редактировать или удалять метки можно кнопками Update attributes (Обновить атрибуты) или Delete label (Удалить метку).

• Raw — режим работы с метками для опытного пользователя. Raw представляет данные меток в формате json с возможностью редактирования и копирования меток в виде текста. Кнопка Done применяет изменения, а кнопка Reset отменяет изменения. 

  

Выбор файлов

Нажмите на вкладку My computer, чтобы выбрать файлы для аннотирования со своего PC. Если выбрать вкладку Connected file share, то можно выбрать файлы для аннотирования из своей сети. При выборе Remote source , отобразится поле, в котором можно ввести список URL (по одному URL за раз). Если вы загружаете видео или массив данных с изображениями и выберете опцию Use cache, то сможете присоединить файл manifest.jsonl. Инструкции по его подготовке можно найти здесь. При выборе вкладки Cloud Storage можно будет выбрать облачное хранилище (для этого необходимо ввести имя облачного хранилища), после чего выбрать файл манифеста и нужные файлы. Подробную информацию о подключении облачного хранилища можно прочитать здесь.

Advanced configuration (Расширенная конфигурация)

Sorting method

Способ сортировки данных. Неприменимо для видео. Например, последовательность файлов 2.jpeg, 10.jpeg, 1.jpeg после сортировки будет выглядеть вот так:

• lexicographical: 1.jpeg, 10.jpeg, 2.jpeg

• natural: 1.jpeg, 2.jpeg, 10.jpeg

• predefined: 2.jpeg, 10.jpeg, 1.jpeg

Use zip chunks

Принудительно использовать zip-блоки (zip chunks) как сжатые данные. Актуально только для видео.

Use cache

Эта опция определяет способ работы с данными. Установите этот флажок, чтобы переключиться на «обработку данных на лету», что уменьшит время создания задачи (благодаря подготовке блоков при получении запросов) и сохранит данные в кэш ограниченного размера с политикой устранения самых непопулярных элементов. Подробнее можно прочитать здесь.

Image Quality

Эту опцию можно использовать для задания качества загружаемых изображений. Опция позволяет ускорить загрузку массивов данных высокого разрешения. Можно использовать значения от 5 (почти полностью сжатые изображения) до 100 (несжатые изображения).

Overlap Size

Эту опцию можно использовать для создания перекрывающихся сегментов. Опция делает треки непрерывными от одного сегмента к другому. Её следует использовать для режима интерполяции. Для использования этого параметра существует множество вариантов:

• Для задачи интерполяции (последовательности видеокадров). При аннотировании ограничивающего прямоугольника (bounding box) на двух соседних сегментах они будут объединены в один bounding box. Если перекрытие равно нулю или при некачественной аннотации в соседних сегментах сдампленного файла аннотации, будет использоваться несколько треков, по одному для каждого сегмента, соответствующего объекту.

• Для задачи аннотирования (отдельные изображения). Если объект существует в накладывающихся друг на друга сегментах, перекрытие больше нуля и аннотация в соседних сегментах достаточно хороша, то он будет автоматически объединён в один объект. Если перекрытие равно нулю или или при некачественной аннотации в соседних сегментах сдампленного файла аннотации у одного объекта будет несколько bounding box. Таким образом, пользователь аннотирует объект в первом сегменте, затем аннотирует тот же объект во втором сегменте и если всё сделано правильно, то в аннотациях будет использоваться один трек. Если аннотации в разных сегментах (в кадрах с перекрытием) сильно отличаются, то вы получите две фигуры одного объекта. Эта функциональность работает только для ограничивающих прямоугольников. Многоугольники, полилинии и точки не поддерживают автоматическое объединение в сегментах с перекрытием, даже если параметр перекрытия не равен нулю, а совпадение между соответствующими фигурами в соседних сегментах идеально.

Segment size

Эта опция используется для разделения большого массива данных на несколько сегментов меньшего размера. Например, одну работу (job) не могут аннотировать несколько разметчиков (это не поддерживается). Благодаря использованию «segment size» можно создать несколько работ для одной задачи аннотирования. Это помогает распараллеливать процесс аннотирования данных.

Start frame

Кадр, с которого начинается видео в задаче.

Stop frame

Кадр, на котором завершается видео в задаче.

Frame Step

Эта опция используется для фильтрации кадров видео. Например, если ввести 25, то будет оставаться каждый двадцать пятый кадр или каждое двадцать пятое изображение.

Chunk size

Задаёт количество кадров, упаковываемых в блок (chunk) при отправке от клиента к серверу. Если оставить поле пустым, сервер задаёт значение автоматически.

Рекомендуемые значения для разных разрешений:

• 1080p или менее: 36

• 2k или менее: 8 — 16

• 4k или менее: 4 — 8

• Более: 1 — 4

1.3 — Страница Jobs

На странице работ (jobs) пользователи (например, в должности worker) могут просматривать закреплённые за ними работы без наличия доступа к странице задач (task), а также отслеживать свой прогресс, сортировать и применять фильтры к списку работ.

На странице работ в виде плиток представлен список работ (каждая плитка — одна работа). Каждый элемент содержит следующую информацию:

• job ID (идентификатор работы)

• размерность (2D или 3D)

• превью

• stage (этап) и state (состояние)

• при наведении курсора на элемент отображается следующая информация:

• меню для перехода к задаче, проекту или баг-трекеру.

Чтобы открыть работу в новой вкладке, нажмите на работу с зажатой клавишей Ctrl.

В верхнем левом углу есть панель поиска, в которой можно искать по ответственному за работу, этапу, состоянию и т. п. В верхнем правом углу находятся сортировка,  быстрые фильтры и фильтр.

Filter

Применение фильтра отключает быстрый фильтр.

Фильтр похож на фильтры для аннотации: можно создавать правила по properties (свойствам),  operators (операторам) и значениям, группировать правила в группы. Подробнее см. здесь. Узнать больше о выборе даты и времени можно здесь.

Для сброса всех фильтров нужно нажать Clear filters.

Поддерживаемые списком работ свойства:

1.4 — Страница Tasks

Внешний вид страницы Tasks

Страница задач (task) содержит элементы, каждый из которых соответствует отдельной задаче. Задачи отсортированы в порядке создания. Каждый элемент содержит следующую информацию: название задачи, превью, полосу прогресса, кнопку Open и меню Actions. Каждая кнопка отвечает за отдельную функцию в меню Actions:

• Export task dataset — скачивание аннотаций или аннотаций и изображений в определённом формате. Более подробная информация представлена в разделе об экспорте/импорте массивов данных.

• Upload annotation — загрузка аннотаций в определённом формате. Более подробная информация представлена в разделе об экспорте/импорте массивов данных.

• Automatic Annotation — автоматическое аннотирования при помощи тулкита OpenVINO. Наличие этой возможности зависит от того, как был собран инстанс CVAT.

• Backup task — создание резервной копии этой задачи в архиве zip. Подробнее см. в разделе о резервном копировании.

• Move to project — перемещение задачи в проект (можно использовать для перемещения задачи из одного проекта в другой). Следует учесть, что в процессе перемещения атрибуты сбрасываются. В случае несоответствия меток можно создавать или удалять необходимые метки в проекте/задаче. Некоторые метки задач можно сопоставить с метками целевого проекта.

• Delete — удаление задачи.

В верхнем левом углу есть панель поиска, в которой можно найти задачу по ответственному лицу, названию задачи и т. п. В верхнем правом углу находятся сортировка,  быстрые фильтры и фильтр.

Filter

Применение фильтра отключает быстрый фильтр.

Фильтр работает аналогично фильтрам аннотирования, можно создавать правила по properties (свойствам),  operators (операторам) и значениям, группировать правила в группы. Подробнее см. здесь. Узнать больше о выборе даты и времени можно здесь.

Для сброса всех фильтров нужно нажать Clear filters.

Поддерживаемые списком задач свойства:

Для перехода к подробному описанию задачи (task details) нажмите кнопку Open.

1.5 — Task details

Task details — это страница задачи, на которой содержится превью, полоса прогресса, подробное описание задачи (указываемое при создании задачи) и раздел с работами (jobs).

• На этой странице доступны следующие действия:

  1. Изменение заголовка задачи.

  2. Открытие меню Actions.

  3. Смена системы отслеживания ошибок (issue tracker) или её открытие, если она выбрана.

  4. Изменение меток (доступно только если задача не связана с проектом). Возможно добавление новых меток и атрибутов для существующих меток в режиме Raw или Constructor. При нажатии на Copy метки копируются в буфер обмена.

  5. Assigned to — используется для закрепления задачи за пользователем. Начните ввод имени пользователя и/или выберите нужного человека из раскрывающегося списка. В списке пользователей отображаются только пользователи организации, в которой была создана задача.

  6. Dataset Repository

     • Ссылка на репозиторий

     • Статус синхронизации с репозиторием массива данных. При нажатии на статус будет отправлена текущая аннотация. Она имеет несколько состояний:

       • Synchronized — задача синхронизована, то есть создан пулл реквизитов с текущим файлом аннотаций.

       • Merged — объединён пулл-реквест с актуальным файлом аннотаций.

       • Synchronize — выделено красным цветом, аннотации не синхронизованы.

     • Используйте раскрывающийся список форматов, в котором могут быть синхронизованы аннотации.

     • Поддержка больших файлов, позволяющая использовать LFS.

• Jobs — список всех работ для конкретной задачи. Здесь можно найти следующие данные:

• Job — название работы с ссылкой на него.

• Frames — интервал кадров.

• Этап работы. Этап выбирается в раскрывающемся списке. Существует три этапа:  annotation,  validation и acceptance. Это значение влияет на полосу прогресса задачи.

• Состояние работы. Состояние может изменяться ответственным пользователем в меню внутри работы. Существует несколько возможных состояний:  new,  in progress,  rejected,  completed.

• Started on — дата начала работы.

• Duration — время, в течение которого выполняют работу.

• Assignee — это пользователь, выполняющий работу. Можно начать вводить имя пользователя и/или выбрать нужного пользователя в раскрывающемся списке.

• Reviewer — пользователь, которому поручили выполнять проверку, подробнее см. в разделе о проверке.

• Copy. При нажатии на Copy список работ копируется в буфер обмера. Список работ содержит прямые ссылки на работы.

Можно выполнять фильтрацию или сортировку работ по статусу, ответственному лицу и проверяющему.

Чтобы начать процесс аннотирования, перейдите по ссылке внутри раздела Jobs. В некоторых случаях ссылок будет несколько. Это зависит от размера задачи, а также параметров Overlap Size и Segment Size. Для повышения удобства загружается только первый блок (chunk) из нескольких кадров и вы сможете начать разметку первых изображений. Другие кадры будут загружаться в фоновом режиме.

Основной интерфейс пользователя

1.6 — Интерфейс инструмента аннотирования

Инструмент состоит из следующих элементов:

• Header (заголовок) — закреплённый заголовок, используемый для навигации по разделам CVAT и параметрам аккаунтов;

• Top panel (верхняя панель) — содержит кнопки навигации, основные функции и доступ к меню;

• Workspace (рабочее пространство) — пространство, в котором отображаются изображения;

• Боковая панель Controls — содержит инструменты для перемещения по изображению, зума, создания форм и редактирования треков (объединения, разделения, группировки);

• Боковая панель Objects — содержит фильтр меток, два списка: объектов (в кадре) и меток (объектов в кадре), а также параметры внешнего вида.

Всплывающие сообщения

Пользователь CVAT получает в правом верхнем любой страницы всплывающие сообщения. Всплывающие сообщения могут содержать полезную информацию, ссылки или сообщения об ошибках.

Информационное сообщение

Информационные сообщения сигнализируют о завершении процесса автоматического аннотирования. Подробнее об автоматическом аннотировании можно узнать здесь.

Всплывающие рекомендации

Открытие задачи

После создания задачи можно сразу же открыть её, нажав на Open task. Подробнее о создании задачи можно узнать здесь.

Продолжение работы с кадра, на котором пользователь закончил

При открытии работы, которую ранее выполнял пользователь, он получает всплывающее сообщение с предложением продолжить с кадра, который был открыт перед закрытием вкладки.

Сообщения об ошибках

При выполнении недопустимых действий пользователь может получить сообщение об ошибке. Сообщение может содержать информацию об ошибке или предложение открыть консоль браузера (горячая клавиша F12) для получения дополнительной информации. Если вы обнаружите баг, который не можете устранить сами, то можно создать issue в GitHub.

1.7 — Основы навигации

1. Используйте показанные ниже стрелки для перемещения к следующему/предыдущему кадру. Используйте ползунок полосы прокрутки для прокрутки кадров. Почти все кнопки имеют горячие клавиши. Чтобы получить подсказку о горячей клавише, наведите курсор мыши на элемент UI.

1. Для навигации по изображению используйте кнопку на боковой панели Controls. Также можно перемещать/сдвигать изображение, удерживая левую клавишу мыши в области без аннотированных объектов. При нажатии на колёсико мыши все аннотированные объекты игнорируются. В противном случае вместо самого изображения может переместиться выделенный ограничивающий прямоугольник.

1. Можно использовать кнопку на боковой панели Controls для увеличения нужной области. Воспользуйтесь кнопкой Fit the image для выравнивания изображения под размер рабочего пространства. Также можно использовать колёсико мыши для масштабирования изображения (зум изображения будет выполняться примерно под текущей позицией курсора).

1.8 — Top Panel

Элементы управления, расположенные в верхней панели инструмента аннотирования.

Кнопка Menu

Кнопка Menu

Это главное меню инструмента аннотирования. Его можно использовать для скачивания, загрузки и удаления аннотаций.

Функции кнопок:

• Upload Annotations — загружает аннотации в задачу.

• Export as a dataset — скачивает массив данных из задачи в одном из поддерживаемых форматов. Также можно ввести собственное название и установить флажок Save images, если нужно, чтобы массив данных содержал изображения.

• Remove Annotations — открывает окно подтверждения; при нажатии на Delete аннотация текущей работы будет удалена. При нажатии на Select range можно удалить аннотации из указанного интервала кадров. Если установить флажок Delete only keyframe for tracks, то в выбранном интервале из треков будут удалены только ключевые кадры.

• Open the task — открывает страницу с подробным описанием задачи.

• Change job state — изменяет состояние работы (new,  in progress,  rejected,  completed).

• Finish the job/Renew the job — изменяет этап и состояние работы соответственно на на acceptance и completed / annotation и new.

Save Work

Сохраняет аннотации для текущей работы. Кнопка имеет индикацию процесса сохранения.

Кнопки Undo и Redo

Кнопки для отмены и возврата действий.

Done

Используется для завершения создания объекта. Эта кнопка появляется только при создании проекта.

Block

Используется для приостановки автоматического создания линий при отрисовке многоугольника при помощи OpenCV Intelligent scissors. Также используется для откладывания запросов сервера при создании объекта с помощью AI Tools. Когда блокировка включена, кнопка становится синей.

Player

Переход к первому/последнему кадру.

Переход к следующему/предыдущему кадру с заданным шагом. Горячие клавиши:  V — шаг назад,  C — шаг вперёд. По умолчанию шаг составляет 10 кадров (это значение можно изменить в Account Menu —> Settings —> Player Step).

Кнопка перехода к следующему/предыдущему кадру имеет возможность настройки. Для настройки нажмите правой клавишей мыши на кнопку и выберите один из трёх вариантов:

1. Вариант по умолчанию — переход к следующему/предыдущему кадру (с шагом в 1 кадр).

2. Переход к следующему/предыдущему кадру, в котором есть объекты (в частности, отфильтрованные). Подробности использования см. в разделе о фильтре.

3. Переход к следующему/предыдущему кадру, в котором отсутствуют аннотации. Используйте эту опцию в случае необходимости быстрого поиска пропущенных кадров.

Горячие клавиши:  D — предыдущий,  F — следующий.

Воспроизведение последовательности кадров или набора изображений. Горячая клавиша:  Space (можно изменить в Account Menu —> Settings —> Player Speed).

Переход к конкретному кадру. Для фокусировки на элементе нажмите ~.

Fullscreen Player

Режим полноэкранного плеера. Горячая клавиша — F11.

Info

Открывает информацию о работе.

Overview:

• Assignee — пользователь, за которым закреплена работа.

• Reviewer — пользователь, которому поручено выполнять проверку, подробнее см. в разделе о проверке.

• Start Frame — номер первого кадра в этой работе.

• End Frame — номер последнего кадра в этой работе.

• Frames — общее количество кадров в работе.

Annotations statistics:

В этой таблице перечислены созданные фигуры, отсортированные по меткам (например, vehicle, person) и типу аннотации (фигура, трек), а также количество обработанных вручную и интерполированных кадров.

UI switcher

Переключение между режимами интерфейса пользователя.

1.9 — Боковая панель Controls

Навигация

Блок навигации — содержит инструменты для перемещения и вращения изображений.

Cursor (Esc)- базовый инструмент редактирования аннотаций.

Move the image — инструмент перемещения изображения без возможности редактирования.

Rotate — две кнопки для поворота текущего кадра по часовой (Ctrl+R) и против часовой стрелки (Ctrl+Shift+R). В настройках можно включить Rotate all images, чтобы поворачивать все изображения в работе.

Зум

Блок Zoom — содержит инструменты для зума изображений.

Fit image — подстраивает размер изображения под размер рабочего пространства.
Горячая клавиша — двойной щелчок по изображению.

Select a region of interest — зум выбранной области.
Этот инструмент можно использовать для быстрого зума конкретной части кадра.

Shapes (Фигуры)

Блок Shapes — содержит все инструменты для создания фигур.

AI Tools (ссылка на раздел: AI Tools)

OpenCV (ссылка на раздел: OpenCV)

Rectangle (прямоугольник) (ссылка на раздел: Shape mode;  Track mode; Drawing by 4 points)

Polygon (многоугольник) (ссылка на раздел: Annotation with polygons;  Track mode with polygons)

Polyline (полилиния) (ссылка на раздел: Annotation with polylines)

Points (точки) (ссылка на раздел: Annotation with points)

Ellipses (эллипсы) (ссылка на раздел: Annotation with ellipses)

Cuboid (кубоид) (ссылка на раздел: Annotation with cuboids)

Tag (тэг) (ссылка на раздел: Annotation with tags)

Open an issue (открыть issue) (ссылка на раздел: Review, инструмент доступен только в режиме проверки)

Редактирование

Блок Edit — содержит инструменты для редактирования треков и фигур.

Merge Shapes (M) — включает/отключает режим слияния фигур (ссылка на разделы: Track mode (basics))

Group Shapes (G) — включает/отключает режим группировки фигур (ссылка на разделы: Shape grouping).

Split — разделяет трек (ссылки на раздел: Track mode (advanced))

1.10 — Боковая панель Objects

Сокрытие боковой панели Objects

Hide — кнопка, скрывающая боковую панель Objects.

Объекты

Поле ввода Filter

Подробное руководство по использованию фильтров представлено здесь.

Список объектов

• Switch lock property for all — переключает свойство «заблокирован» для всех объектов в кадре.

• Switch hidden property for all — переключает свойство «скрытый» для всех объектов в кадре.

• Expand/collapse all — сворачивает/разворачивает поле подробностей для всех объектов в кадре.

• Sorting — сортировка списка объектов: по времени обновления, ID по возрастанию, ID по убыванию.

В боковой панели Objects находится список доступных объектов для текущего кадра. Ниже показаны примеры, как может выглядеть список:

Shape mode (режим фигур):

Track mode (режим треков):

Тип фигуры можно изменить, выбрав свойство Label. Например, оно может выглядеть так:

Меню действий объекта

Меню действий вызывается кнопкой:

Меню действий содержит следующие пункты:

• Create object URL — помещает ссылку на объект в буфер обмена. После открытия ссылки этот объект будет отфильтрован.

• Make a copy— копирует объект. Горячие клавиши: Ctrl + C,  Ctrl + V.

• Propagate — копирует форму нескольких кадров, вызывает диалоговое окно, в котором можно указать количество копий или кадр, в который вы хотите скопировать объект. Горячая клавиша: Ctrl + B.

• To background — перемещает объект на задний план. Горячие клавиши: -, _.

• To foreground — перемещает объект на передний план. Горячие клавиши: +, =.

• Change instance color— выбор цвета при помощи палитры цветов (доступно только в instance mode).

Фигуру можно заблокировать, чтобы предотвратить её случайное изменение или перемещение. Горячая клавиша блокировки объекта:  L.

Можно указать, что фигура перекрыта (Occluded) другой фигурой. Горячая клавиша:  Q. Такие фигуры имеют пунктирные границы.

Можно менять отображение объекта в кадре (показать или скрыть).

Switch pinned property — при включении фигуру невозможно будет перетаскивать.

Tracker switcher — включение/отключение трекинга для объекта.

При нажатии на кнопку Details сворачивается или разворачивается поле со всеми атрибутами объекта.

Labels

В этой вкладке можно блокировать или скрывать объекты с определённой меткой. Для изменения

© Habrahabr.ru