Кто, как и на чем исследовал мировой океан — разбираем базы NOAA25.03.2020 07:48

Приветствую вас, глубокоуважаемые!

«Выбросило меня тогда из кабины, в тысячный раз подумал он. Ударило обо что-то головой, так я больше и не оправился…» © АБС, «Улитка на склоне»

Пока коронaвирус бороздит просторы планеты, предлагаю с одного ракурса взглянуть, как мы (человечество) исследовали мировой океан.
По долгу работы мне нужны данные по температуре и солености воды с максимальным покрытием по территории, и единственное известное мне место, где такие данные можно взять совершенно свободно — базы данных Национального управления океанических и атмосферных исследований США.
В этот раз я ради интереса решил не ограничиваться необходимым и проявил определенную жадность.
Кто, как, когда и на чем исследовал мировой океан: список экспедиций с 1772 по 2018 годы с разбивкой по странам, интересные подробности и небольшой статистический анализ — под катом!

0. Предисловие

Для начала кратко опишу, где какие данные лежат и как они организованы. Чтобы любой желающий мог самостоятельно повторить и перепроверить мои результаты.

На самом деле я и не планировал разбирать не требуемые напрямую мне данные, но с юности питаю едва утолимую жажду к разным глобальным таблицам и спискам.
Данные, которые меня в действительности интересовали, раздаются в CSV и выглядят примерно так:

Подобные касты (Casts) собраны в файлы, размерами по 600–700 Мб, а непосредственно интересующие меня поля, я выделил жирным: это географические координаты, измерения температуры/солености по глубине и, в меньшей степени, год и месяц измерений.

Запрос можно сформировать на странице World Ocean Database select and search. Я выбрал все данные, какие есть по солености и температуре: датасеты OSD и CTD/XCTD.

Выборка происходит не мгновенно: ссылки на скачивание пришли мне на почту примерно через полутора суток. Суммарный объем в распакованном виде ~ 28 Гб.

База содержит данные с 1961 по 2010 годы, как я понял, данные за последние 10 лет они не раздают просто так каждому встречному.

Итак, для того, чтобы парсить данные есть два очень полезных документа:

И что-то меня зацепило — заголовки кастов содержат данные о стране, от чьего имени проводилась экспедиция (Cruise), платформе (Platform) — судне, ледовой или стационарной станции, с которой производились измерения и даже учреждении (Institute), ответственным за измерения.

Благо, все списки также доступны.
На мой взгляд, самый интересный из них вот этот.

Он содержит записи об экспедициях, с 1772 года (КАРЛ!). А самая ранняя из них выглядит так:

Если обратиться к списку платформ, то мы обнаружим, что судно, о котором идет речь, это не кто иной, как HMS Resolution! Тот самый, на котором успел поплавать походить капитан дальнего хода Джеймс Кук.

Датасет далеко не идеален: некоторые записи заполнены не полностью. У 8 тысяч из почти 215 не указана страна (код 99), 50 штук помечены как «Miscellaneous organization».
Сначала я пробовал определить недостающие страны по коду института, но ожидаемо оказалось, что одни и те же институты указываются как управляющие организации в экспедициях разных стран.
Потом я попытался восстановить код страны по коду платформы, здесь уже было однозначное соответствие: одна платформа — одна страна. И, что можно было бы понять сразу, все коды платформ, встречавшиеся у «ваканды» (страна с кодом 99)… правильно, встречались только у этой страны.
Далее выяснился еще один забавный момент: Советский Союз, Российская империя и Российская Федерация, судя по датасету, время от времени существовали параллельно: несколько десятков экспедиций с кодом страны RU имели даты начала/окончания в период с 1921 по 1991 год, и наоборот — несколько десятков экспедиций, с датами после 1991 имели код страны SU.
В связи с этим я позволил себе единственную редактуру данных, касающихся только записей с кодом стран RU и SU (т.к. я считаю, что имею на это моральное право — в RU я гражданин, а в SU я родился): если год в интервале от 1921 по 1991 то код страны устанавливается как SU, если же попадается запись с кодом SU вне этого интервала, то ей код страны заменяется на RU.
Я взял официальный год образования Советского Союза, хотя, конечно, есть небольшое число экспедиций в период непосредственно с 1917 по 1922 — они все были помечены мною как RU, ровно, как и небольшое число экспедиций от лица SU в период после 1991 года.

Еще один замеченный мною класс ошибок я исправлять не стал: например, несколько десятков экспедиций, примерно с 1983 по 1988, отмечены кодом UA. Это из бросающегося в глаза.

Также, очевидно, что база не полная, скорее всего с перекосом в сторону США по чисто техническим причинам. Но работаем с тем, что есть, и по возможности проверяем по другим источникам.

Те данные, которые пришлось перелопатить (например, немного изменить формат даты и т.п.), файлы xlsx со сводными данными и графиками я положил к себе на гитхаб, и все ссылки сложил в конец статьи.

В общем на этом заканчиваю вступление и описание всяких условий. Переходим к самому интересному. Я ставил перед собой цель посмотреть все динамике. Приступим. Начнем со средней суммарной «температуры по больнице».

1. Рейтинг первопроходцев

Первое что приходит в голову, глядя на данные — построить рейтинг стран, по вступлению в кружок исследований океана. По спойлеру выше всем понятно, что первая в рейтинге — Великобритания. Первая двадцатка, покрывающая период с 1772 по 1902 годы, выглядит следующим образом:
Поверхностное гугление по названиям судов позволило найти некоторые из них, ссылки я внес в таблицу.

2. У кого больше

Дальше можно сравнить суммарное число экспедиций для всех стран. Гораздо информативнее, на мой взгляд, смотреть изменение по годам. Так как период времени продолжительный, я разбил его на два интервала: до 1900 года и после. Собственно, до 1900 года особо нечего смотреть:

С начала 20 века идет бурный рост и стран уже слишком много. Чтобы графики не слились в цветную кашу, я разбил их на группы по 8 шт, предварительно отсортировав по общему числу экспедиций за весь период.

Итак, первая восьмерка, куда вошли США, Япония, Советский Союз, Канада, Франция, Великобритания, Австралия и Германия.
Я исключил из этой восьмерки «Ваканду», которая располагалась после Великобритании, что позволило протиснуться в группу Германии.

Во вторую восьмерку вошли Швеция, Норвегия, Финляндия, Дания, Либерия, Перу, Корея, Нидерланды и Панама. Между Кореей и Нидерландами располагалась Новая Каледония, но ее пришлось исключить из рейтинга, ввиду того, что не заполнены ни даты начала, ни даты окончания.

В третьей восьмерке обосновались Индия, Аргентина, ЮАР, Китай, Италия, Испания, Польша и Российская Федерация.

Так получается, что за исключением Китая в третьей группе у всех стран «глаза на закат», то же самое можно сказать и про четвертую группу (да, в общем то и про все данные вообще).

Дальше, вниз по рейтингу, рассматривать данные том же ключе смысла не вижу — пытливый читатель может сделать это сам.
Остальным же, после краткого экскурса в историю, предлагаю более пристально рассмотреть вторую половину XX века и начало XXI.

3. Кто на чем

Я долго думал: мне казалось, что все это в высшей степени неинформативно и очень близко к средней температуре по больнице. Или что-то вроде суммарной температуре больных всех больниц страны за N лет.
В конечном счете, я пришел к мысли, что можно выбрать уникальные платформы (суда, ледовые станции и т.п.) по идентификатору и посмотреть, как меняется их число от года к году. Для этого опять вернемся к базе экспедиций. В этот раз я рассматриваю все данные с 1900 года.
В итоге, для первой пятерки стран получается такая картина:

Вторая пятерка:

Третья:

И четвертая пятрка (без «Ваканды»):

«И тут Остапа понесло…» ©

Далее, прошу читателя отнестись к изложению спокойно (не теряя чувство юмора).
Пока я занимался этой статьей и погряз в данных, в фоне работал ютуб и мне на глаза попался график нормы прибыли в нефинансовом секторе США (Return rate). Я обработал его Индийским диджитайзером и «подшил к делу». Вот что вышло:

Обратная корреляция на периоде с 1943 по 1999 показалась мне слишком очевидной.
Дальше я взял с википедии данные по уровню безработицы в США, также обработал диджитайзером, отнормировал к единице и получил такую картину:

Тут также сложно не заметить обратную корреляцию. С другой стороны: ничего удивительного — финансирование исследований и здоровье экономики очень тесно связаны. Я рассматриваю это как некое подобие кросс-проверки данных.

А как у нас с этим дела обстоят? А смотрите сами:

Навскидку, я и не припомню более очевидный график.
С чем еще сравнить? Вот, к примеру, с ценами на нефть (данные по США для сравнения):

Цены нефть я взял из википедии.

Я совсем не экономист, мое дело — разработка гидроакустических и навигационных систем, поэтому будет интересно узнать мнение причастных людей.

All that remains…

Конечно, ледовые станции, образуемые путем заброски группы исследователей, не вполне корректно сравнивать с крупными научно-исследовательскими судами (как, например, «Академик Иоффе»). В идеале здесь нужно разбираться детально с каждой отдельной платформой, что менее чем реально в моем случае.
Здесь я бросил лишь самый поверхностный взгяд на качественный состав платформ и только для своей страны.
Очевидно, что все платформы советского периода я не смогу здесь перечислить — на 1991 год их, судя по данным, было более сотни. Давайте посмотрим, что за платформы использовались в исследованиях в постсоветский период.

Я выбрал все платформы с 1991 по 2018 года. Почти все они легко находятся на сайте marinetraffic.com или по имени, или по коду IMO. Для большинства судов там описана краткая история и судьба.

Краткое заключение

Конечно, важно понимать, что база NOAA не в полной мере отражает ситуацию, но нет причин ожидать, что более полная картина значительно отличается от описанной в данной статье.

С горестью можно упомянуть абсолютного рекордсмена и ветерана постсоветских океанографических и океанологических исследований — судно «Дальние Зеленцы», находящееся в строю с 1987 года (к слову, история поселка, в честь которого названо судно, так же читается с горестью).

Дополнительно предлагаю ознакомиться:

Список источников

1. Список экспедиций на сайте NOAA
2. Перепарсеный мною список
3. XLS, со списком экспедиций и стран, где я строил все графики
4. Оцифрованный график цен на нефть
5. Список платформ, использовавшихся в РФ с 1991 по 2018
6. Список уникальных платформ по годам и странам
7. Поиск судов Marinetraffic
8. Поиск затонувших судов Wrecksite
9. Онлайн диджитайзер графиков из растровых картинок

P.S.

Как обычно, буду искренне признателен за конструктивную критику и сообщения об ошибках.

© Habrahabr.ru