J.A.R.V.I.S. и помидорки
Кадр из RUSSIAN CYBERPUNK FARM
Моё детство прошло в деревне. С юных лет я познавал таинства выращивания картохи и сооружения чучел из консервных банок.
Для меня оказалось открытием, что автоматические комбайны, убиравшие поля кукурузы в Интерстелларе, бороздят вполне реальные поля. А системы автоматического отслеживания здоровья растений с push-уведомлениями для фермеров и другие элементы кибер-деревни становятся обыденностью.
Причём это не единичные прототипы на выставках, а массовое применение по всему миру, включая Россию и СНГ. Да здравствуют IT, искусственный интеллект и анализ больших данных во все поля! Ну и робототехника, конечно!
Петабайты снимков со спутников и беспилотников, системы датчиков, компьютерное зрение и роботизированные системы дарят множество возможностей: таких как анализ и прогноз состояния почвы, уход за растениями и даже сбор урожая. Многие операции уже полностью автоматизированы и исключают ручной труд. Машины вытесняют людей не только с заводов, но и с полей и теплиц.
Как это происходит на практике? Давайте посмотрим!
Disclaimer: цель этой статьи — поделиться wow-эффектом от происходящего. В этой статье вы не найдёте подробного анализа технологий, но можете подсмотреть пару идей, датасетов и узнать, что и такое бывает.
ИИ в аграрном секторе
Сельское хозяйство ассоциируется у меня с запахом навоза, сбором колорадского жука в банки с бескрайних соток картофеля, разбитой после дождя и проезда трактора сельской дорогой и прополкой грядок под палящим солнцем. Довольно нерадостная и совершенно не IT-шная картина.
При этом сельское хозяйство — огромная индустрия, в которой крутится много денег. Деньги привлекают новые идеи и технологии. Всегда находиться что-то, что можно докрутить и улучшить, чтобы зарабатывать ещё больше. Технологии эволюционировали, подешевели и продвинулись до такого уровня, что стало возможно получать данные о каждом сельскохозяйственном объекте и его окружении, математически рассчитывать алгоритм действий и предсказывать результат.
Если, к примеру, медицина, с её бесконечной регуляторной базой и сертифицированием имеет огромные сроки внедрения, то в сельском хозяйстве есть возможность быстро проверять гипотезы, устраивать полевые испытания и быстро внедрять технологии.
Всё ещё сложно совместить навоз и современные ИИ-технологии?
Давайте представим: по засеянному полю едет комбайн. Водителя в нём нет, однако комбайн аккуратно разделяет посевы пшеницы и кукурузы, собирая последнюю. Обогнув небольшую рощицу посередине поля и собрав созревающие посевы, комбайн отправляется в ангар, ведь через 10 минут в этой области предсказан дождь.
Завтра, как поле подсохнет, этот комбайн снова отправится на работу, но уже по новому маршруту — опрыскивать участки поля по зональным рекомендациям: на снимках с БПЛА обнаружены признаки появления гриба Acremonium strictum W. Gams, прорастание которого может привести к поражению кукурузы цефалоспориозом.
Рутинный день фермерского хозяйства подходит к концу.
Слегка похоже на «Интерстеллар», не так ли? Однако происходящее — это не фантастический фильм, а реальность.
Российские компании Avrora Robotics и Cognitive Technologies, промышленно выпускают как полностью автоматизированные комбайны, так и внешние блоки автопилота для стандартных сельхозмашин, которые покупают фермеры со всего мира.
Использование таких машин в фермерском хозяйстве и автоматизация процессов в целом, приносят огромный эффект! И речь сейчас не столько в замене ручного труда на машинный, сколько в уменьшении потерь урожая.
Продовольственная безопасность
Пустые полки в магазине / ©Getty images
Помните ли вы то всеобщее беспокойство о еде в первые дни пандемии: пустые полки, дефицит продуктов и очереди в магазинах?
Затем появились тревожные новости о фермерах, которые закапывают урожай обратно, сливают молоко в канализацию и закрывают мясоперерабатывающие производства.
В то же время люди начали массово терять работу, а цены на базовые товары стали расти. Возникли опасения, что это приведёт к голоду и сопутствующим проблемам. Страх голода стал реальностью во всём мире.
Эти сбои произошли из-за особенностей нашей продовольственной системы. Когда оптовые покупатели, такие как школы и предприятия общественного питания, почти остановили закупки, для производителей было дешевле уничтожить урожай, чем собирать и перерабатывать его.
Молочные заводы, предназначенные для продажи в больших объемах, не были оборудованы для того, чтобы перевести свои упаковочные машины на контейнеры розничного размера. Мясокомбинаты требовали присутствия рабочих вдоль технологических линий, а многие работники заболели, и заводы вынуждены были закрыться.
Казалось бы, хорошо бы сделать выводы, но сейчас ситуация повторяется, причём более масштабно. Если в пандемию голод был больше пугалом, то сейчас — реальная опасность. В Йемене голод в разгаре, нарушенные цепочки поставок удобрений грозят посевным, цепочки доставки продовольствия к потребителям тоже нарушены, цены на топливо растут, что ведёт и к дефициту и росту цен.
В то же время наше современное сельское хозяйство технологически сильно отличается от того, что было в конце 19-го века, примерно также, как космический корабль от гужевой повозки.
Сегодня, в целом, есть всё необходимое, чтобы накормить всё население планеты. Сделать так, чтобы понятия «голод» и «продовольственный кризис» остались в прошлом.
И как раз для этого и применяются ИИ-технологии в аграрном хозяйстве. Давайте разбираться, как именно!
Это работа для ИИ
J.A. R.V.I. S. Кадр из к/ф Iron Men
Сегодняшний рассказ большое об ИИ (а точнее, о том, что этим термином называют) и информационно-телекоммуникационных технологиях (аж зубы сводит от этой фразы), поэтому я остановлю своё внимание на наиболее интересных, на мой взгляд, задачах.
Это:
оптимизация урожайности (как сделать поменьше и получить побольше),
предсказание погоды, засух и наводнений (на случай дождичка в четверг),
оценка динамики почвенных процессов (ей нужно не давать деградировать),
раннее выявление и прогнозирование болезней растений и животных (не дать заразе распространиться),
повышение продуктивности животноводства (коррекция рациона, предсказание периодов спаривания и т.д.),
поиск сорняков (для точечного уничтожения и снижения количества пестицидов),
навигация (для управления сельхозтехникой и беспилотниками)
Можно выделить две особенности применения ИИ в сельском хозяйстве:
— зачастую ИИ используется совместно с робототехникой (т.е. робот обеспечивает передвижение, манипуляцию предметами и орудиями труда, а модели, в свою очередь, осуществляют ориентацию в пространстве, выбирают оптимальные орудия труда при выполнении определённой работы, распознают препятствия и объекты);
— использование непосредственно при производстве продуктов питания или выборе оптимальной стратегии управления хозяйством (с одной стороны, это накладывает требования робастности, с другой — работу в условиях изменяющихся природно-климатических условий; формально, это означает изменения параметров генератора входных данных и, соответственно, т.н. data shift).
Это вам не DALL-E, которая генерирует смешных котиков (бот по ссылке). Здесь идёт работа с живыми организмами и странные результаты работы моделей ML и DL могут привести к заметному ущербу.
Результат генерации ruDaLL-E Kandinsky по запросу «Кот пьёт пиво»
Рассмотрим, например, селекцию. Конечно, она заслуживает отдельного цикла статей, однако я расскажу пример, который мне особо запомнился: задача по выводу сферического коня в вакууме оптимальной коровы. Без шуток, это живая задача, которая была актуальна ещё в 50-х.
Корова должна быть компактной, не очень много есть, быть не слишком жирной, но при этом совсем без жира она будет невкусной — нужно искать баланс. Также крайне важно, поддерживать возможность длительного репродуктивного цикла.
В общем, непростая задача, не так ли?
Поля
Тоже самое касается и выращивания растительной пищи. Есть много классных стартапов в аграрном секторе с крутыми идеями и технологиями. Я расскажу о тех, которые охватывают глобальное и локальное выращивание пищи.
Пшеница — ресурс, возможно, даже круче, чем нефть. Её можно есть, в отличие от последней, а в остальном всё также: котировки на биржах, трейдинг, стратегические запасы и зависимость стран от цен на неё. А ещё она может не уродиться или её качество резко изменится.
Когда мы покупаем в магазине макарошки, дороже стоят те, что сделаны из твёрдых сортов пшеницы. Твёрдость определяется количеством белка. Чем его больше — тем лучше. При этом если высадить правильный сорт, но условия его выращивания будут неподходящие, белка будет меньше. Или урожайность будет невысока. Или вдруг нагрянут заморозки и пшеница погибнет.
Как фермеру с этим жить? Вообще, с чего начать? Конечно, есть вариант сходить к шаману и спросить его совета. Не отметая этот вариант, всё же обратимся к данным.
Необходимо понять, сколько семян, удобрений и прочего нужно закупить для посевов. Расход рассчитывается из площади участка. Есть кадастровые карты, но реальные границы могут отличаться от нарисованных, плюс где-то на участке вырос лес, где-то образовалось болото. Если закупка была произведена на 100 гектар, а у фермера их 110, земля будет простаивать.
Один из вариантов — съёмки поля дронами с привязкой к координатам.
Площадь мы посчитали. Что ещё можно сделать, если есть фотографии поля? Можно натренировать модель, которая будет сообщать, что вот в этой части поля растёт похуже и можно подкормить растения удобрениями. Можно делать карту сорняков, которая загружается в бортовой компьютер трактора и тот сам точечно опрыскивает химией, убивая не всё, а только лишнее. Можно оценивать, насколько хорошо посевы перенесли зиму. Если плохо — то успеть засеять участок поля заново.
К сожалению, использование дронов тяжело масштабируется. Необходимо ездить по полям, тратить время на съёмки. Даже с дронопортом. Можно как-то поудобнее?
Альтернативный вариант — обратиться к спутниковым снимкам. И, внезапно, есть данные в открытом доступе:
Американские спутники LandSat. Съёмка раз в неделю с разрешением 30 метров на пиксель. Первый спутник был запущен в 1972 году. Сейчас уже летает 7-й спутник в серии. Можно посмотреть любое поле и посмотреть его состояние с историей на десятки лет назад.
Данные с сайта LandSat. Кого хочешь — выбирай.
Семейство спутников Европейского космического агентства Sentinel. Съёмка раз в 2 дня с разрешением 10 метров на пиксель. Первые спутники были запущены в 2015 году.
Sentinel. Можно выбрать даже конкретный спутник.
И ещё с пяток.
Отлично! Есть данные, причём за десятки лет. Однако, есть несколько деталей:
выкачиваются не RGB-фотографии, а изображения, полученный с помощью 12 световых фильтров (порядка 12 каналов)
спутников несколько, траектории отличаются, пересекаются. Возникает задача совместить данные и географические координаты. Учитывая размеры (примерно 300 Мб на тайл), нужно написать пайплайн выкачивания и обработки только тех данных, которые действительно используются
а ещё мы замечаем, что изрядное количество данных — это съёмки облаков. Однако если добавить данные со спутникового радиолокатора, то можно научить модели смотреть сквозь них!
Собственно, примерно так и работают стартапы вроде OneSoil. Можно открыть карту, выбрать поле и засадить его, например, кукурузой. Аналогичным путём пошёл Роскосмос, запустив геоаналитическую платформу Pixel.AI.
Разработчики написали алгоритмы разметки и сейчас поле можно выбрать, а не чертить его самому, и оценить продуктивность на отдельных участках. Если внести данные о культурах за прошлые года, то прогноз будет уточнён. Сайт даст информацию о необходимом количестве семян, которую тут же можно загрузить в бортовой компьютер комбайна и послать его сажать урожай.
Что может произойти с полем?
Сайт agrostory.com
Растения могут болеть (на нашем или соседнем полях). Могут случиться град, подмерзания, подтопления, засуха.
За своим огородом можно уследить визуально, для европейских фермеров в силу небольших размеров и количества полей — эти технологии не очень актуальны. А вот в условной России или Аргентине регулярно объезжать поля не выйдет.
Итак, приложение указало на участок поля, где плохая урожайность, и приложило отчёт.
Что делать фермеру? Он едет на поле, смотрит, фотографирует. И отправляет фотографии консультантам по сельскому хозяйству. Сейчас фермеру не требуется знать всё самому — по всему миру существуют агентства, предоставляющие консультационные услуги. Что-то вроде ветеринаров, только для растений. И вместе с консультантом фермер лечит поле: вносит удобрения, что-то пересеивает…
Зоны урожайности
Альтернативным способом оценки состояния поля является загрузка данных непосредственно с уборочного комбайна. При сборе урожая идёт трекинг каждую секунду с привязкой по GPS о том, сколько килограмм собрано. Комбинируя данные об урожайности с архивными спутниковыми снимками, мы получаем, что на одном участке поля всегда всё хорошо растёт, а на другом — плохо. Можно снизить норму (всё равно ничего не вырастет) или увеличить (и вырастить больше). Этот процесс позволяет уточнить зоны урожайности. Зная их, можно собирать с гектара больше.
Всё бы хорошо, но в разных регионах разные почвы, климат, посевные культуры. Нужно больше данных! Добавляем анализ рельефа местности. С его помощью можно оценить, например, зоны подтопления, вымывания грунта. Фактически можно искать скопления гумуса (перегноя). На таких скоплениях крайне эффективно сажать.
Погода
Даже машина не может выполнять определённые действия в непогоду. Хотя мы и отказались от «кожаных мешков» — опрыскивать, например, при ветре нельзя. Дождь, ветер, температура — их комбинации сообщают, когда можно делать разные технические операции.
Предсказывая погоду, можно делать таймлайн для техники на день или несколько, находя подходящие окошки.
С помощью, например, Агросигнала или OneSoil можно подготовить карты внесения удобрений и пестицидов. Как только карта загружена в бортовой компьютер, комбайн начинает работать сам. Современные трактора уже оснащены автопилотом, классические белорусские оснащаются «подрулькой». Руль заменяется, на крышу ставится высокоточный RTK-GPS. Собственно всё, теперь трактор может ездить по маршруту сам.
Теплички
Кадр из к/ф Джентельмены
Указанное решение не работает, если растения выращиваются под крышей. В принципе, можно предположить, что не все культуры могут быть выращены в любой точке земного шара в грунте под открытым небом. А вот в теплице могут.
Рассмотрим на примерах стартапов Fermata и iFarm, которые занимаются мониторингом растений в теплицах. С помощью камер и датчиков модельки ИИ оценивают, как растения себя чувствуют и помогают фермерам принимать решения.
Но датчики в теплицах ставились и раньше. В данном случае главной фишкой является визуальный анализ данных. То есть поиск больных растений, насекомых, инфекций, слежение за ростом культур. Статистика такова, что в процессе посадки, выращивания, ухода за посевами теряется до 40% урожая. Урожай теряется от того, что растения заболели и пришлось их всех уничтожить. Еще 40% теряется при сборе урожая, хранении и транспортировке. Болезни нужно купировать в зачаточном состоянии —, но за состоянием растений сейчас следят люди. А как выглядит теплица сейчас?
Вертикальная ферма «РусЭко». Сайт integral-russia.ru
Примерно так выглядит стандартная вертикальная теплица высотой порядка 5 метров. Высота обусловлена требованиями на возможность работать людям. Однако при автоматическом сборе можно уходить вверх и на 10, и на 12 метров. Теплицы растут вверх — так площадь эффективнее используется. Это могут быть стеллажи один над другим, или просто вытягивание растений от пола до потолка. А человек на верхние участки всё же реже обращает внимание. Глазами за всем этим не уследить.
Если теплица автоматизирована, то в ней может быть реализован замкнутый воздушный цикла без притока атмосферного воздуха, что препятствует проникновению инфекции и вредителей и избавляет от необходимости применения пестицидов. А ещё расходуется меньше воды, потому что нет проветривания, и влага никуда не уходит. Может, даже всё построено на аэропонике!
Конечно, растения перекрывают друг друга, но для мониторинга достаточно быстро находить проблемы в кластерах посадок, а затем уже с помощью зума и перемещений роботов смотреть, что происходит с отдельными растениями и посылать сообщения агрономам.
Но подождите. Я могу купить помидроки на рынке, какие пятиметровые теплицы с Сomputer Vision? И вы правы. Это вопрос маржинальности.
Обычно вкладываются в то, с чего большая доходность, причём здесь и сейчас. Это будут не помидорки, а, скажем, зелень ресторанного типа. Салатик должен быть всегда в идеальной форме.
Или, например, стоимость клубники катастрофически зависит не только от её вкуса и аромата, но и от размера ягоды, цвета семечек — если они бесцветные, ягода падает в цене. А если они жёлтые, то это будет дорогая ягода.
Данные
Реальные данные по помидоркам. Сайт sadimogorod.com
Особую ценность представляют данные, которые собираются с миру по нитке.
Так, множество кэгловских соревнований предоставляют данные, например:
А также справочники болезней, фотографии, сделанные самостоятельно в теплицах и выкаченные из интернета. Однако все эти корпуса данных необходимо валидировать у профессиональных агрономов. И потом заново валидировать, собирать консилиумы — потому что взгляд был субъективный.
А что с датчиками?
Измеряется влажность, температура, CO2, освещённость, спектр света, давление, поток воздуха (чтобы убедиться, что с вентиляцией всё в порядке).
Растения могут болеть, потому что есть какая-то внешняя инфекция: грибок, вирус, которые занесли люди или насекомое. Или насекомое может есть само растение. Или дело может быть в том, что плохо ухаживают — холодно или слишком тепло, недостаточно питательных веществ.
А теперь информации для тех, кто всё ждал, когда же тут будет про ИИ, машинное обучение и нейросети!
Да, собственно, всё прогнозирование и строится на ИИ.
Искусственные нейросеточки
Если есть климатические и визуальные данные, можно тренировать модель прогнозировать урожай. Чем больше датчиков, тем точнее модель работает.
Пайплайн Fermata выглядит так: имеются последовательные нейронные сети:
предобрабатывающие картинки и гененущие эмбеденги,
обрабатывающие эмбединги и показания датчиков и делающие предсказания.
Детали, конечно, не уточняются, но тут можно было бы предположить архитектуру с несколькими головами нейросети, которые производят классификацию болезней и регрессию урожайности.
Картинка моя
Результаты анализов, найденные аномалии — регулярные сводки приходят фермеру в дашборд. Это и web-страница, и push-уведомления и приложение на телефоне — как пользователь сам настроит.
Оно вообще нужно?
Есть показатели климата, которые и так изменяются датчиками в теплицах. Без всякого ИИ. И есть параметры роста растений, которые в текущих реалиях измеряются людьми вручную. В том числе количество листьев, их размер, вес плода.
Выведены схемы нормального роста растений, а у фермера есть план выращивания определённого количества килограмм к нужной дате.
Весь временной промежуток роста необходимо быть уверенным, что план соблюдается. Если развитие растений не соответствует схеме, применяются схемы лечения от тех самых консультантов, про которых я рассказывал выше.
В этот момент и выстреливают технологи визуального анализа.
Человек не может на каждой веточке посчитать количество листьев. С помощью Computer Vision можно более точно рассказать, что происходят в разных зонах теплицы и какие решения следует применять.
Может ли CV заменить лабораторию?
Сайт agromage.com
Дело в том, что фермер может производить не сами помидорки, которые на виду, а некоторый конечный продукт. Например, некоторое вещество для производства косметического крема. И фермеру необходимо максимизировать количество этого вещества. Но напрямую это сделать нельзя. Как понять, сколько продукта ожидается через время, и сколько в растении его сейчас?
Чтобы это понять, растение срезается, сдаётся в лабораторию, где бесчеловечно перемалывается и всячески анализируется.
Fermata проверяет гипотезу о том, можно ли этот процесс заменить, анализируя визуально изображение в нескольких спектрах (инфракрасный, ультрафиолетовый), комбинируя это с климатическими данными. Да, анализ может быть менее точным, чем в лаборатории, зато мониторинг идёт в режиме реального времени. Таким образом, лабораторные исследования можно делать существенно реже.
Мечты-мечты
Сайт proektant.kz
В целом, упомянутые выше технологии, позволяют выращивать растения где угодно. При этом агрегируется актуальная информация о том, какие культуры, в каком количестве и на какой территории растут. Добавляя сюда IoT на этапах хранения, транспортировки и обработки, открываются возможности к дальнейшей автоматизации уже высокоуровневых процессов. начиная с того, чтобы вовремя подвезти на склады семена, удобрения и технику и заканчивая цифровизацией бизнес-процессов. Такие изменения могут кардинально повлиять на прибыль и конкурентоспособность продукции и компании в целом. При этом, чем больше датчиков, сенсоров и полевых контроллеров подключено к единой сети, тем умнее становится система и круче её способность предоставить больше полезной информации для пользователя.
Если пофантазировать, то с массовым внедрением можно рассчитывать производство пищи и её логистику так, чтобы она была минимальна по себестоимости и в достаточном количестве для всего населения Земли.
В этом направлении работают такие компании, как ExactFarming, АНТ.
В заключении
Куда будет дальше двигаться технологизация сектора?
Во-первых, будет уменьшаться количество людей в аграрном секторе. Точнее, оно будет уменьшаться там, где достаточно дорогая рабочая сила. Так, в Европе месяц работы смотрителей теплиц, т.н. gardeners, с учётом налогов составляет примерно 5 тысяч евро. Там выгодно уменьшать количество низкоквалифицированного труда.
Вопрос этичности замещения людей машинами, на мой взгляд, не стоит. Это тяжёлый и неблагодарный труд — ползать между растениями, согнувшись в три погибели, и считать листики. Есть даже польза — уменьшение ошибок от человеческого фактора.
Во-вторых, должно произойти подключение всё большего количества фермеров к аналогичным сервисам, правда на данный момент у многих всё ещё существует психологический барьер.
Стартап приходит к фермеру и говорит, что вот, смотрите, искусственный интеллект, который сделает так, что ваши помидорки будут расти лучше, а в ответ — непонимание и недоверие.
Сейчас к фермерам нужен особый подход, скажем, вначале подключать сеть знакомых датчиков температуры и влажности, входить в доверие, избегать произношения страшных слов, типа искусственный интеллект и пр…
Такой особый, трепетный подход, практически к каждому такому фермеру, несколько тормозит внедрение.
В-третьих, ещё один тренд — автономные машины: от комбайнов до дронов.
Например, можно было бы заменить комбайны на дроны в задачах опрыскивания химикатами. Банально, больше не нужно будет давить растения! Но дрон, который не сносит ветром и который сможет долго находиться в полёте — это дорогая, тяжёлая машина, которая должна заправляться дизельным топливом, поэтому и стоить она будет соответствующе. Конечно, можно использовать дешёвые дроны, но их постоянно сдувает, они ломаются, теряются. Нужен технологический прорыв! Но разрабатывать Hardware — не слои в нейросети стакать.
Вот такая история получилась про ИИ и помидорки! А вы что думаете по этому поводу?
