Как определить строительные площадки на Земле, используя только данные с орбитальных аппаратов
На этом видео показаны долгосрочные изменения, которые можно увидеть при помощи Google Earth. Этот покадровый отчёт о почти 40-летнем развитии Дубая, Лас-Вегаса, Сингапура и Шанхая основан на архивных снимках, сделанных в период, когда велось крупномасштабное строительство.
Но как насчёт автоматического обнаружения крупных строительных проектов по мере их реализации в любой точке Земли, не имея данных, когда и где может появиться тот или иной небоскрёб или крупная военная база? Это не так то просто. И это работа научно-исследовательского агентства разведывательного сообщества под названием Intelligence Advanced Research Projects Activity (IARPA), которое пытается сделать гигантский скачок вперёд с помощью программы, получившей название SMART. Программа Smart поставила сложную задачу: определить строительные площадки на Земле, используя только данные с орбитальных аппаратов.
Умная программа
SMART расшифровывается как Space-based Machine Automated Recognition Technique, и его цель состоит в том, чтобы «гармонизировать» данные со многих видов спутников наблюдения за Землёй, а затем поставить перед программным обеспечением задачу поиска в них признаков изменений, естественных или антропогенных. Всё — от детективных агентств до учёных-климатологов, от страховых компаний до пожарных — хотят использовать эти визуальные эффекты, чтобы понять, что происходит на Земле. Но спутниковых данных больше, чем могут уследить аналитики. Автоматизация по крайней мере части анализа терабайта данных избавляет от утомительной работы, чтобы люди могли сосредоточиться на интерпретации.
Первоначально программа фокусировалась на выявлении и мониторинге строительства крупных объектов, потому что вместо того, чтобы просто идентифицировать отдельные объекты сверху, для обнаружения строительной площадки требуется идентифицировать множество объектов и изменений рельефа с течением времени и вывести из них закономерность.
Промаркированный снимок аэропорта Ханэда, Токио
Строительство является оптимальным испытательным полигоном для такого рода анализа. Его внешний вид меняется, будь то в джунглях или на пляже, и будь то набор ракетных шахт или куча особняков. Оно проходит через фазы и происходит в течение многих лет. И ни один из этих критериев не является гарантированным вариантом.
Например, в данный момент алгоритмы, анализирующие спутниковые снимки, смогут идентифицировать все самосвалы в отдельно взятом районе. Но для обнаружения строительства крупных объектов команды SMART не могут просто создать некий детектор самосвалов, потому что эти большегрузные машины часто появляются на площадках, где ничего не строят. Самосвалы также ездят по шоссе или паркуются на подъездах к своим владельцам. И ПО не может просто отправить предупреждение, когда зелёная растительность превращается в коричневую грязь, потому что это изменение нельзя связать с одной определённой причиной. Это может указывать на сплошную рубку, а не на подготовку пространства для нового фундамента. Строительство крупных объектов определяется тем, как подобные части паззла складываются воедино.
Программ Smart стартовала в начале 2021 года, когда разведывательная организация IARPA заключила контракты с командами, возглавляемыми компаниями Accenture Federal Services (AFS), BlackSky, Systems & Technology Research, Kitware, Applied Research Associates, ASTRA и Intelligent Automation.
Каждый спутник имеет свои особенности. Точно так же, как «зелёный» цвет не обязательно выглядит для одних людей так же, как для других, изображение зелёного участка со спутника может отличаться от изображений других и отличаться изо дня в день. Это может быть связано с углом наклона Солнца, состоянием атмосферы или изменениями в датчиках камер.
В июне 2022 года SMART завершила свой первый этап, в ходе которого команды создавали алгоритмы обнаружения строительства и проверяли свои способности на более чем 100 000 спутниковых снимках, показывающих около 90 000 квадратных километров территории, сделанных в период с 2014 по 2021 год. Чэллендж, чтобы доказать, какие подходы лучше всего подходят для сбора разрозненных подсказок, которые в совокупности являются индикаторами нового строительства.
Команды получили изображения с четырех разных спутников: от Landsat, программы, совместно используемой NASA и Геологической службой США; от SentinelЕвропейского космического агентства; и от компаний Maxar и Planet, которые управляют орбитальными аппаратами, делающими коммерческие снимки планеты.
Обучение без водителя
Партнёрские организации, такие как Лаборатория прикладной физики Университета Джона Хопкинса, Центр космических полётов имени Годдарда NASA и Геологическая служба США, сначала проверили изображения, чтобы подтвердить, какие точки должны быть положительными, а какие отрицательными. К середине весны они закончили маркировку около 1000 строительных площадок в 27 регионах, отслеживая прогресс этих мест во времени. Команды прогнали изображения через своё ПО и представили свои результаты в конце апреля.
Например, в своём анализе инженеры Kitware использовали комбинацию методов. Один из них называется характеристикой материала: анализ пикселей, чтобы увидеть, изображают ли они, например, бетон или почву. Другая — семантическая сегментация, которая означает определение того, какие пиксели на изображении принадлежат к какому классу объектов, будь то «здание», «дерево» или «дорога».
Тем временем команда AFS решила задачу по-другому: переосмыслив большие наборы данных, которые требуются для «обучения» ПО тому, как интерпретировать сцену. Эти изображения — часто многие тысячи — обычно должны быть идентифицированы и помечены человеком, прежде чем их можно будет передать ИИ в качестве набора предварительных примеров, чтобы научить его распознавать похожие изображения.
Это может быть нормально для отдельных объектов, таких как простые фотографии кошек или собак, но сложнее для сложных пейзажей, снятых с высоты. Один снимок со спутника может захватить всю территорию метро. Много мелких деталей можно увидеть на одном изображении города: автобусные остановки, почтовые ящики, ларьки с мороженым, дети на велосипедах. Человеку могут потребоваться недели и много долларов, чтобы пометить всё это. Таким образом, компания с помощью исследователей, которых она привлекла из академических кругов, сосредоточилась на разработке новых методов, которые не полагаются на этот предварительно помеченный мир и пытаются самостоятельно выяснить, что происходит на Земле, как всё меняется.
Эти методы основаны на так называемом «обучение без учителя». Для этого исследователи передают нейронной сети большое количество неразмеченных данных, а затем запускают её, чтобы посмотреть, какие закономерности и свойства она может идентифицировать самостоятельно. Например, AFS брала случайные части одного и того же спутникового снимка, отправляла их в сеть, а затем спрашивала: Эти две области взяты из одного и того же снимка? Или они исходят из разных снимков? Таким образом, сеть узнаёт, что общего у пикселей одного и того же изображения. Она начинает группировать объекты и действия по категориям и распознавать их на разных картинках.
В июне команды получили оценки. И ко второй фазе Smart, которая продлится 18 месяцев переходят: AFS, BlackSky, Kitware, Systems & Technology Research, Applied Research Associates и Intelligent Automation, которая стала частью оборонной компании BlueHalo.
BlackSky автономно отслеживает строительные работы на военно-морской базе Фламинго-Бей в Порт-Судане с помощью Spectra AI
Двойное назначение
Во второй фазе командам придётся сделать свои алгоритмы вариативными к различным применениям. Слишком медленно и дорого разрабатывать новые методы ИИ с нуля для каждых объектов, которые необходимо найти. Может ли алгоритм, разработанный для поиска строительства, теперь находить снимки с ростом урожая? Это большой переход, потому что вместо медленных, антропогенных изменений необходимо искать естественные, циклические, экологические изменения. А на третьей фазе, которая начнётся в начале 2024 года, оставшиеся конкуренты попытаются превратить свою работу в технологию, которая могла бы обнаруживать и отслеживать как естественные, так и антропогенные изменения.
Ни одна из этих фаз не является строгим раундом на выбывание, и не обязательно будет один победитель. Как и в случае с аналогичными программами DARPA, цель IARPA — передать перспективные технологии разведывательным агентствам, которые смогут использовать их в реальности. IARPA принимает поэтапные решения, основываясь на производительности по сравнению с показателями, разнообразии подходов, доступных средствах и анализе независимого тестирования и оценки. В конце третьей фазы может не остаться ни одной команды или остаться несколько команд — оптимальным альтернативным решением может быть даже объединение этих нескольких команд.
Инвестиции IARPA часто выходят за рамки самих программ, иногда направляя научные и технологические пути, поскольку наука вынуждена идти туда, куда текут деньги. Какая бы проблема ни была выбрана IARPA, она привлечёт большое внимание исследовательского сообщества. Командам разрешено продолжать использовать алгоритмы в гражданских целях, а наборы данных, которые IARPA создаёт для своих программ, часто становятся общедоступными для использования другими исследователями.
Спутниковые технологии часто называют технологиями «двойного назначения», потому что они могут применяться как в военных, так и в гражданских целях. Уроки программного обеспечения, разработанные для SMART, будут применимы в экологии. Компании уже занимаются экологическими исследованиями для таких организаций, как Национальное управление океанических и атмосферных исследований; команды уже помогали Службе морского рыболовства обнаруживать тюленей и морских львов на спутниковых снимках. И в будущем возможно применение программного обеспечения SMART к выявлению вырубки лесов.
Автоматическая интерпретация изменений ландшафта имеет очевидные последствия для изучения изменения климата, например, для наблюдения за тем, как тает лёд, как отмирают кораллы, меняется растительность и как земля превращается в пустыню. Обнаружение нового строительства может показать, где люди вторгаются в участки природного ландшафта, где лес превращается в сельскохозяйственные угодья, а где сельскохозяйственные угодья уступают место домам. Это одна из областей, где применение в гражданских целях технологии двойного назначения почти такое же, как и в военных.
