[Из песочницы] Яндекс.Метеум – новая разработка или маркетинговый ход?
В конце ноября компания «Яндекс» анонсировала свой обновленный погодный сервис под названием «Яндекс.Метеум». Якобы новая программная разработка по своим алгоритмам способна рассчитывать прогноз с точностью до дома. Меня как метеоролога-любителя не мог не заинтересовать новый продукт. Я всегда с уважением относился к Яндексу, даже несмотря на неудачный перезапуск Кинопоиска, но детально изучив анонс, опубликованный на сайте «Хабрахабр», я нашёл в нём ряд несостыковок и логических ошибок. Тогда я решил провести своё исследование точности нового сервиса, относительно других погодных ресурсов, а именно моего сайта «Погода 45» (Прогноз погоды для Кургана) и Foreca (базовый ресурс с которого Яндекс берёт данные).
В дальнейшем я буду опираться на расширенный анонс, опубликованный на Хабрахабре. Разберём эти несостыковки и логические неточности, которые мной были найдены в этом анонсе.
Разбор полётов
«Прогноз с точностью до дома»
А есть ли необходимость в таком прогнозе? В существующих компьютерных моделях используется сетка 20 на 20 километров или 15 на 15 километров. Что это означает? Это означает, что каждый расчётный узел от предыдущего находится на расстоянии 20 километров. Как правило, для равнинной местности с небольшими перепадами высот этого достаточно. А вот в условиях горной местности, требует помощь мезомасштабных моделей, где расчётные узлы находятся на более близком расстоянии. Чаще всего это 5, 2 или 1 километр. Но бывают и исключения. Например, специально для Олимпиады в Сочи в 2014 году была разработана мезомасштабная модель COSMO с сеткой в 100 метров! Разумеется, такая модель хорошо рассчитывает локальные явления присущие данной местности: туман, орографические осадки, резкие перепады температур. Но как вы видите, даже здесь используется сетка точностью в 100 метров. И это оправдано. Ведь увеличение числа узлов приводит к повышению нагрузки на суперкомпьютер, на котором запускается модель. Но нужна ли точность до дома? В некоторых случаях воздушная масса оказывается настолько однородной, что на один градус температура изменяется каждые 10, 20 или 50 километров! Прогноз с точностью до дома — это рекламная утка, не более.
Минимальная температура в ЦФО ночью 2 января
«Более детальная информация о глобальном состоянии атмосферы к нам приходит из американской модели Global Forecast System, которая считается одной из самых точных глобальных моделей в мире и имеет разрешение в 0.25 градуса.»
Ещё одно утверждение, требующее пояснений. Американская компьютерная модель GFS действительно хороша, но она не самая точная. Европейская модель ECMWF — вот самая точная модель. На американском сайте weatherbell.com приводятся графики соответствия прогнозируемого барического поля и фактического, по двум моделям на срок до 5 суток. За 2015 год у Европейской модели коэффициент соответствия 0,910, а у американской — 0.885. Прогноз барического поля — это базовый параметр. Если модель его хорошо рассчитывает, значит, она может и адекватно рассчитать температуру, ветер, облачность и осадки.
Анализ качества прогнозирования барического поля у американской и европейской модели.
Оценка точности
Вот и настал момент истины. Сейчас несколько слов об условиях эксперимента. Я не понаслышке знаком с критериями оценки точности прогноза. На своём сайте «Погода 45», я уже три года составляю свои собственные прогнозы для моего города Кургана. Я использую мультимодельную ансамблевую методику, прогноз строится на базе десятка разных моделей, которые «включаются» в разное время года и в разных синоптических ситуациях. В 2014 году прогноз по температуре на одни сутки оправдался на 95%, а в 2015 удалось поднять точность на 1%! Мой прогноз на 10% точнее, чем у наших местных синоптиков, для которых 85% — это верхняя планка. Ещё ни один сервис, ни одна самостоятельная модель не смогла составить прогноз точнее, чем у меня. Множественный подход показывает большую эффективность, чем прогноз единичных моделей.
Каждый день в течение всего декабря я записывал прогноз Яндекса, Фореки и свой собственный. Прогноз максимальной температуры днём и минимальной ночью. Это общемировая практика, здесь нет ничего нового. Анализировал оправдываемость в процентах и среднюю абсолютную погрешность в градусах. Для оценки оправдываемости я использовал наставление Гидрометцентра. Оно есть здесь.
Вывод
Результаты эксперимента оказались для меня ожидаемы. Прогноз от Яндекса оказался на 2% точнее, чем у Фореки, а средняя абсолютная погрешность оказалась практически равной. Это означает, что эти 2% обычный пользователь даже не почувствует. И, разумеется, Яндекс не смог превзойти мои прогнозы, опубликованные на сайте «Погода 45». Кроме того, за время своего наблюдения я заметил, что Яндекс не умеет прогнозировать ночное выхолаживание, а это самая главная проблема в зимнее время года. Другой проблемный момент касался самого сайта и приложения. С середины декабря Яндекс начал выдавать самые неадекватные прогнозы, которые можно списать на технические неисправности. Например, в новогоднюю ночь я ожидал похолодание до -30 по большинству моделей. А Яндекс показывал лишь -21. Это непростительная ошибка! А 35% превосходства я даже не стану комментировать.
Глюк на сайте Яндекса. Нет похолодания. В новогоднюю ночь было -33. Яндекс показывает -21.
В конечном итоге можно сказать, что Яндекс не создал ничего сверхъестественного, объективный анализ прогноза показал превосходство над прогнозами сайта Foreca лишь в пределах погрешности, а значит, обычные пользователи не смогут почувствовать этой разницы. А если нет разницы, зачем платить больше?
