Как делать научные предсказания

589b754544274343a47af1d6de48a92a.png

Предсказания, а не случайность

Как сделать предсказания любых событий так, чтобы тебе поверили серьезные учёные, ты стал знаменитым и получил нобелевку? Это очень просто: надо убедить учёных в том, что твои предсказания — это именно предсказания, а не случайность. Для этого вполне хватит школьного курса теории вероятностей. Итак, на надо выполнить лишь три пункта.
Пункт 1. Опишем предсказываемое событие, ограничив его временным и пространственным интервалом. К примеру, мы утверждаем, что некое событие произойдёт в следующие сутки (временной интервал) в пределах 100 км (пространственный интервал).

Далее нам надо подсчитать вероятность случайного появления этого события в указанном интервале. Для этого есть различные методы, в зависимости от типа событий, их распределения и т.д. Но это надо сделать, и именно для этого мы указываем чёткий временной и пространственный интервал события. Обозначим эту вероятность Pслуч.

Искушение: В этом пункте очень хочется схитрить, объявив интервал равный бесконечности. То есть, это событие на другом конце Земли — это мы немного в координатах ошиблись, а то что оно через год — ошибка во времени. Но увы — именно для этого нам и нужна оценка случайного появления. В случае бесконечного интервала она будет слишком близка к 1.

Пункт 2. Далее мы будем смотреть, сколько из предсказанных событий произошло. И на основании этого подсчитаем вероятность уже наших предсказаний. То есть, если в указанном промежутке событие фактически произошло, ставим плюс один, не произошло — ноль, и так для всех наших предсказаний. Обозначим эту вероятность Рпред.

Искушение: Иногда событие не попадает в наш диапазон совсем чуть-чуть. Плюс час, минус километр. И очень хочется его подсчитать как совпадение. Многие недобросовестные исследователи так и делают. Но нет — нам надо либо расширять изначально диапазон предсказаний, либо выбрасывать наше событие из подсчёта как неуспешное.

Дилемма: И тут есть такая интересная дилемма — если мы увеличим диапазон, в него попадут больше предсказанных событий. Но — увеличится и вероятность случайного совпадения. Уменьшая диапазон — уменьшаем точность своих предсказаний.

Оценочный анализ Далее можно провести оценочный анализ Pслуч. и Pпред. Если вероятность случайного события намного больше предсказанного, или они примерно равны — то мы занимаемся чем-то не тем. Обманом, подгонкой фактов –, но только не предсказаниями. Если же Pслуч. намного меньше 1, а Pпред. больше хотя бы 0.5 — то можно говорить о том, что исследование удалось. Дальше надо строить более точные вероятностные оценки, затем писать статьи и бежать за нобелевкой. Оценочный анализ на этом будет закончен.

Вам кажется, что эта статья ни о чём, и всё это — очевидные для исследователя вещи? Но увы, исследование, которое я сделал ниже, показывает полное непонимание этих вещей людьми, официально занимающимися наукой.

Часть вторая: предсказание землетрясений

Перейдём к исследованию достоверности предсказаний землетрясений. Написать эту статью меня сподвигла дискуссия, начавшаяся в комментах к этому посту. Суть такая: некий коллектив учёных считает, что он может предсказывать землетрясения, а один из авторов даже выкладывает эти предсказания на сайте. Я взялся проверить достоверность со статистической точки зрения.

Для начала, сложность возникла с границами предсказаний — автор нигде напрямую не указывает, в каком диапазоне оно делается. То есть, как понять, что вот это событие — это именно то, что мы предсказали? Ответа в научных статьях нет. Мало того, из графика точности предсказаний видно — авторы рассматривают в качестве успешных предсказания событий, случившихся за 1000 км. от предсказанной точки.

799ffe9e7a8f44858d6f8452cb141d29.jpg

Но мы можем определить границы сами. Для этого возьмём эти цитаты из их научных работ:

Эпицентр землетрясения, пока, включает район с радиусом около 50 км.

Мы видим, что погрешность в градус (это порядка 100 км) — вполне приемлемая точность по координатам. Это подтверждается и вышеприведенным графиком. Для интервала по времени возьмём сутки, исходя из следующей цитаты:

Время наступления предполагаемого землетрясения могло варьировать в пределах ± 13 ч от расчетного срока. Из 1118 прогнозов 978 случаев оправдались в тот день, на который они прогнозировались;

По сообщениям авторов, заявленная точность такого прогноза:

Успешность данных прогнозов составляет около 70 — 80%.


Независимая оценка прогноза

Для оценки было взято 15 сентября 2016 года (я мог проверить, что прогноз действительно появился за один день до события, и с тех пор не менялся). Чтобы не создавать нагрузку на сайт автора, прикладываю картинку с прогнозом.
7507dfd0634b48efb9525c7361befdb4.gif
Фактические данные были взяты с сайта EMSC
На сайте есть возможность посмотреть все землетрясения за любой промежуток времени, с определёнными магнитудами. Данные можно скачать в виде CSV или наложить на гугл-карту:
9f1841fe493a41ed951e7b9feb4aee1a.png

Мы видим полное несовпадение данных. Данные брались за 15 сентября, выбирались все события с магнитудой больше 3. Если мы сравним эти изображения, мы увидим что очаги не совпадают на десятки градусов. Там даже не надо углубляться в подсчёты, из рисунков и так всё ясно. Но можно сделать небольшой дополнительный анализ. В таблице в левой колонке предсказанные данные, в правой — координаты ближайшего эпицентра, если эпицентр находится ближе примерно десятка градусов от предсказанной точки.

Предсказанные Фактические
24N 121E (большое)
39N 123W
31N 115W
47N 67W
0.5S 78.5W 3.34S 80.8W
39N 28W
42N 13E 42.8N 13.2E
36N 4E
36.5N 22E 40.1N 24.8E
36N 70E
54N 164E
6N 126E 3.8N 129.1E
42S 172E


Из 13 событий (одно из них — сильное), всего 4 произошли в пределах 1000 км. от указанной точки, и всего одно вписалось в заявленный авторами квадрат 50 км.

Неужели что-то совпало?

Но одно из них — совпало с точностью до градуса! Неужели хоть что-то получилось? Нет, всё проще, оно не подходит оценку по случайности. Как видно из приведенной ниэе таблицы фактических землетрясений, там просто трясло каждый день, начиная с 10 сентября. Поэтому вероятность события в указанной точке за 15 сентября была слишком близка к 1.

Date Latitude Longitude Magnitude
15.09.2016 42.82 13.19 4.3
14.09.2016 42.73 13.18 3.2
13.09.2016 42.58 13.2 3.4
12.09.2016 42.8 13.22 3.2
11.09.2016 42.68 13.28 3.3
10.09.2016 42.79 13.24 3.1
10.09.2016 42.96 13.16 3.3
10.09.2016 42.84 13.26 3

Ввиду явного несоответствия двух картинок — предсказанных и фактических землетрясений, дальнейший анализ проводить не вижу смысла, можно переходит к выводам.

Вывод

Судя по статистическим данным, предсказания от данных учёных не имеют никакой силы. Кого именно обманывают авторы — людей или себя, остаётся неизвестным. Но их графики, в которых они показывают достоверность предсказаний — не соответствуют действительности.

Что, собственно, хорошо соотносится с работами учёных USGS которые в недавних работах показали невозможность краткосрочных прогнозов, так как система хаотична — из-за сложного строения земной коры возмущение нарастает экспоненциально. Это как с кучкой песка — подсыпая по песчинке, мы знаем что рано или поздно горка осыпится (долгосрочные прогнозы (годы, десятилетия) делаются) –, но мы не знаем, когда именно это произойдёт (краткосрочные (сутки и часы) невозможны). Подробнее и интереснее написано тут, в разделе «Уроки прошлого, сомнения и надежды на будущее».

© Geektimes