Агро-робот с ИИ научился аккуратно собирать с грядки только созревший салат
Многие виды растений и сельхозкультур до сих пор собираются только вручную.
Инженеры из Кембриджского университета (Великобритания) создали рабочий прототип роботизированного сборщика урожая, способного самостоятельно распознавать готовые к срезанию неповрежденные листья салата, а также аккуратно их обрабатывать и собирать.
Чтобы собрать хороший урожай в автоматическом режиме нужно решить несколько сложных технологических задач, таких как:
— точное и правильное позиционирование на месте сбора, синхронизация действий с другими сборщиками;
— анализ и выбор правильных алгоритмов для использования с разными культурами;
— распознавание созревших плодов (листов, ягод);
— утилизация поврежденных или не проросших элементов;
— аккуратный захват и срезание готовых к сбору культур без повреждений;
— сортировка и укладка собранного урожая;
— логирование действий и способность к самообучению;
— проверка корректности текущих действий и минимизация повреждений на участке сбора.
Помимо того, выполнять все эти задачи необходимо с высокой скоростью и в реальных постоянно меняющихся условиях окружающего мира (ветер, дождик, насекомые, животные и так далее).
Группа инженеров Кембриджского университета успешно решила часть этих задач и опубликовала свои исследования в этой работе:
Ссылка на научную статью в издании Journal of Field Robotics.
Они создали небольшой и пока что мало автономный прототип самостоятельного робота-сборщика урожая, способного анализировать и выбирать правильные для сбора элементы.
Этот робот-сборщик представляет из себя манипулятор на колесной платформе шириной в одну грядку. Манипулятор оснащен захватом, ножом для срезания и видеокамерой, дополнительная видеокамера расположена в верхней части его платформы.
Так как это еще только прототип, который для массового применения будет значительно дорабатываться как элементно, так и функционально, то инженеры просто установили все необходимые им для проведения испытательных полевых исследований компоненты робота на пассивной колесной платформе, передвигаемой оператором вручную.
Их задача была — научить робота понимать процесс сбора урожая и автоматизировать его действия с помощью машинного обучения.
После того, как робот оказывается над новыми кочанами салата, активируется процесс распознавания и классификации кочанов салата с помощью видеокамер и нейросетей.
Картинки с видеокамер на манипуляторе и платформе использовались для:
— локализация кочанов салата, находящихся перед видеокамерой — с помощью сверточной нейросети YOLO version 3, для обучения которой было использовано 1500 фотографий;
— классификации кочанов салата по четырем типам (созревший элемент, несозревший элемент, зараженный\поврежденный элемент, отсутствие элемента) с помощью сверточной нейросети Darknet Object Classification Network, для обучения которой было использовано 665 фотографий.
Полевые испытания робота-сборщика показали, что он способен:
— определять кочаны салата перед собой с точностью в 91%;
— корректно классифицировать кочаны салата с точностью 85%.
— время одного цикла работы (переход от одного кочана салата к другому) 32 секунды, что очень много, но этот момент будет еще дорабатываться.
Оказывается, что сами грядки очень заросшие и места прорастания кочанов салата очень сложно просто так локализовать и классифицировать:
Поэтому салат убирают в ручном режиме быстро, но все подряд без особого и тщательного отбора:
Да и создать небольшую платформу с роботом-уборщиком сложно, ведь устройство должно быть подвижно, достаточно стабильно держаться на поверхности на рыхлой земле и не разрушать своими компонентами грядки.
Вот какие ограничения по размерам для элементов и параметры у прототипа робота-сборщика были:
Что получилось в итоге на полевых испытаниях после его сборки:
Кстати, платформу с роботом назвали Vegebot.
Структурная схема взаимосвязи компонентов платформы Vegebot:
Причем, обе видеокамеры в этом решении — самые простые и дешевые USB веб-камеры.
Программная часть Vegebot (архитектура и веб-интерфейс), используется Robot Operating System (ROS):
Диаграммы циклов работы Vegebot (циклы обучения, сбора):
Подготовка к полевым испытаниям, исследование грядок и анализ картинок кочанов салата с разных высот расположения камеры:
А ведь каков шнурок-ремешок для ноутбука! Инженерная смекалка в деле!
Таблица с разными типами фотографий для локализации кочанов салата, находящихся перед видеокамерой (для обучения сверточной нейросети YOLO version 3):
Таблица с разными типами фотографий для классификации кочанов салата по четырем типам (созревший элемент, несозревший элемент, зараженный элемент, отсутствие элемента) для обучения сверточной нейросети Darknet Object Classification Network:
Промежуточные варианты механизмов и элементов Vegebot:
Двойной элемент для сбора кочанов салата (захват и нож):
Роторный двигатель постоянного тока (слева), линейный привод с ножевым механизмом (справа):
Пневматический резак:
Финальная версия механизма захвата и сбора урожая с ременным приводом и системой двойного пневматического привода:
Характеристики и размеры механизма захвата Vegebot:
Принцип работы механизма захвата Vegebot (T — force threshold, FR — ground reaction forces):
Позиционирование механизма захвата Vegebot с помощью двух бортовый видеокамер:
Компенсация внешних факторов освещения и параметров изображений с видеокамер для оптимальной локализации кочанов салата:
Примеры локализации (распознавания) кочанов салата на изображениях с видеокамер на разной высоте и под разными углами:
Полученные полевые данные по локализации (распознаванию) кочанов салата с помощью Vegebot (на основе 60-ти попыток Vegebot распознать кочан салата):
Параметры изображений и матрица для классификации кочанов салата:
Время работы и траектории механизма захвата Vegebot:
Возникла в процессе проведения полевых испытаний проблема с определением количества ненужных (торчащих) листьев на кочане салата после сбора, которые нужно удалить.
Вот какие варианты тут есть: идеально срезанный кочан салата без торчащих листьев, кочан салата с одним торчащим листом, кочан салата с двумя торчащими листами, кочан салата с поврежденными листами.
В зависимости от количества лишних листьев на кочане салата и необходимости их распознавания и удаления, рабочий цикл Vegebot тоже меняется:
Итоговые данные по полевым испытаниям прототипа робота-сборщика урожая Vegebot:
Конечно, данный прототип еще далек от промышленного аграрного использования, но ведь это только начало исследований.
