У природы разная погода: как работают и прогнозируют метеорологи

В этом выпуске подкаста говорим о метеорологии: как прогнозируют погоду, причем тут искусственный интеллект и что такое «ощущается как..»?

Первыми метеорологами в истории человечества были племенные шаманы — именно на них возлагалась миссия по призыву дождя, окончанию бури и управлению другими природными явлениями. Как самостоятельная наука метеорология оформилась только в XVII веке, однако упоминания о ней и попытки разгадать тайны погоды встречаются еще у Аристотеля. Впрочем, тогда ее называли «метеорологикой» и изучали еще и движения космических тел.

Современные метеорологи «предсказывают» погоду на основе данных, которые собирают ученые по всему миру. Затем информацию обрабатывает искусственный интеллект, используя Big Data. Однако и романтика в профессии тоже осталась — некоторые специалисты действительно отправляются на вахты в отдаленные места планеты, чтобы следить за погодными явлениями.

Почему в Центральную Россию пришли сильные морозы и одновременно зимние тропические ливни? Как взмах крыла бабочки рядом с Атлантическим океаном может вызвать цунами? И кто рассказывает сервисам погоды о том «как ощущается» температура?

Об этом говорим с руководителем «Яндекс.Погода» Александром Ганьшиным.

Путь был непрост. История, как я попал в «Яндекс», долгая. Я учился в Московском инженерно-физическом институте. Там нет такой профессии, как метеоролог. Но я попал на кафедру моделирования физических процессов в окружающей среде. Когда меня отправляли на преддипломную практику, в Долгопрудном находился один из филиалов Росгидромета, который называется Центральная аэрологическая обсерватория, – в ней как раз проводятся измерения с помощью радиозондов (это большие воздушные шары, которые запускают в атмосферу) и метеорологических радаров. Это такие устройства, которые позволяют нам видеть осадки вокруг нас. Благодаря им мы можем показывать на карте осадки на ближайшие два часа, когда начнется или закончится дождь.

Меня отправили по принципу «кто ближе всего живет к Долгопрудному». То есть я скорее волей случая попал в эту сферу и дальше как раз двигал науку, занимался исследованием парниковых газов и глобального потепления – это модно в последнее время.

Тогда японцы запускали спутник по мониторингу парниковых газов под названием GOSAT (Greenhouse Gases Observing Satellite). Они вывели его на орбиту. Американцы в то же время должны были запустить OCO (Orbiting Carbon Observatory), такой же свой спутник. Но он, к сожалению, попал в океан, а не в космос, поэтому весь научный мир работал над этим спутниковым проектом. Мы в Центральной аэрологической обсерватории в том числе делали проект в сотрудничестве с японскими коллегами. Сейчас наша технология по восстановлению источников, где выбрасывается и поглощается углекислый газ и метан, работает в японском центре исследования окружающей среды.

После этого мы решили: давайте немножко попробуем монетизировать свои знания, и организовали стартап в Соединенных Штатах, который отвечал за качество воздуха. Мы могли сказать, какое сейчас качество воздуха в любой точке на планете Земля. Но мы немножко опередили свое время. Приходилось образовывать людей, зачем это вообще нужно. Если бы мы начали лет на пять позже, то сейчас бы были миллиардерами, потому что наших конкурентов Google недавно купил за полмиллиарда долларов. Они делали примерно то же самое.

В какой-то момент наш CEO пришел в «Яндекс» и сказал: «У нас есть химический прогноз погоды». Ему сказали: «Химический прогноз погоды – это хорошо. Можете сделать обычный прогноз погоды?». Примерно так началась моя история, связанная с погодной частью. В 2014 году полгода у нас был пилотный проект, где мы показали, что те модели, которые мы использовали в науке, можно применять для прогнозов погоды. Плюс, мы добавили машинное обучение, которое позволяет компенсировать ошибки в моделях. За счет этого уже восемь лет занимаюсь прогнозами погоды.

В этом есть место искусственного интеллекту и big data, потому что атмосфера – это большой источник больших данных. Когда к нам приходят ребята, мы нанимаем тех же ML-разработчиков, они думают: «Погода, что там сделать? На экране телефона отображаются какие-то циферки. Никакого rocket science». А у нас приходят терабайты информации в сутки, которые нужно обработать с помощью моделей машинного обучения, посчитать на высокопроизводительных серверах. Это огромная часть и машинного обучения, и больших данных, и работы с искусственным интеллектом.

Метеорология пошла от Аристотеля. Он написал свою науку, которая называлась в то время «метеорологика» – учение о небесных явлениях. Правда, тогда к ним относили, в том числе, и метеоры, и кометы, и радуги, и все остальное. Но там были и тучи, и град, и осадки.

С тех пор метеорологи занимаются изучением атмосферы. Если сказать шире, есть такая сфера гидрометеорология. Это и океан, и атмосфера. «Гидро» связано с водой, а «метео» связано с воздухом, потому что системы вода и воздух влияют друг на друга.

2/3 нашей планеты покрыто водой, поэтому такое неравномерное распределение континентов и то, что у нас есть вода, оказывает влияние на то, какой у нас климат, как меняется погода, и на все остальное. Поэтому, если говорить чисто про метеорологию, это большой спектр вещей и задач, которыми занимаются люди.

Например, аэрология – это когда люди запускают воздушные шары, про которые я говорил. Большой воздушный шар наполняется гелием или водородом, летит до высоты 20 км. К нему привязан датчик, который снимает показания по температуре, ветру, давлению, влажности. Таким образом другие метеорологи получают информацию о вертикальном строении атмосферы.

Есть люди, которые следят за метеостанциями. Их в стране около тысячи. Они определены в основном там, где живут люди, но есть и в недоступных местах. Классически у нас в стране метеорологами называют именно этих людей, которые работают на метеостанциях.

Но на самом деле метеорологи – это общее слово для всех, кто делает что-то, связанное с тем, чтобы изучать атмосферу. Иногда называют людей синоптиками, но есть отдел – синоптическая метеорология. После того, как люди на метеостанциях, на воздушных шарах, самолетах, с радаров и со всех остальных датчиков собрали информацию, нанесли области одинакового давления, одинаковой температуры, потом то, что связано с синоптической метеорологией или синоптиками, по собранным данным пробуют собрать прогноз, который мы видим на ближайшие дни или часы.

Да, но не вместо, а вместе, потому что машину надо научить, как это делать. Как сейчас делаются прогнозы погоды? Собирается большой объем данных по атмосфере и океану. По ним составляется актуальная картина, какая погода сейчас в каждой точке на планете Земля.

Понятно, что мы не можем везде измерить погоду, поэтому это делается только в каких-то точках, которые затем загоняются в математическую модель атмосферы и океана. В этой математической модели решаются сложные гидродинамические уравнения. Не в аналитическом виде, но при этом их можно решить с помощью вычислительных методов на компьютерах.

Первые суперкомпьютеры появились благодаря тому, что нужно было оперативно считать прогнозы погоды. Первый такой прогноз, который считался на прототипе современных компьютеров, нужно было составить на ближайшие шесть часов. В итоге, этот прогноз считался шесть недель. И он ошибся – посчитал нереальное давление, потому что была небольшая погрешность в начальных данных, из-за чего прогноз разошелся. Если говорить про ошибки прогнозов, они возникают из-за того, что мы не можем точно знать, какая температура, какой ветер в каждой точке, а нам нужно знать, и мы не можем составить абсолютно точную модель Земли. Это все-таки только какие-то приближения.

Поэтому, чем дальше мы идем по времени, тем больше ошибок накапливается, как снежный ком. Когда компьютер посчитал сложные уравнения, дальше профессиональный метеоролог может сказать, что эта модель сильно занижает ночную температуру. Он говорит: «Давайте прибавим плюс два градуса». Я сейчас очень сильно утрирую, пускай меня простят коллеги по цеху. Я пытаюсь объяснить на пальцах, чтобы было понятно нашим слушателям. Профессиональный метеоролог сделал прибавку, и он знает, что в каком-то городе надо прибавить, в каком-то городе отнять.

Примерно этому мы можем научить искусственный интеллект или машинное обучение. Можно взять несколько моделей прогноза погоды. В «Яндексе» мы так и делаем: берем четыре глобальных прогноза погоды, плюс, считаем один собственный на наших компьютерах. Дальше вступает в силу следующая логика. Как обычно люди смотрят? Один посмотрел в телефоне – завтра будет дождь, посмотрел по телевизору – завтра дождя не будет, посмотрел в третьем источнике – будет. Два из трех сказали, что дождь будет. Наверно, он будет.

Примерно по такой логике (я сейчас сильно утрирую) работают модели, связанные с машинным обучением. Они ищут явные и неявные закономерности в ошибках прогноза погоды и пытаются их компенсировать за счет того, что мы показали большую историю, как ошибались эти прогнозы, и что было на самом деле на тех метеостанциях, про которые мы говорили чуть раньше. Метеостанция – это наиболее объективный способ понять, какая погода. Мы учим наши модели воспроизводить то, что на самом деле показывалось на метеостанциях.

Приведу еще один пример, который мне очень нравится, чтобы представить, насколько это сложно. Представьте ванну. Мы капаем в нее капельку краски. Нам нужно спрогнозировать, как эта краска распределится внутри ванной хотя бы через несколько часов. Примерно такую задачу решают люди, которые составляют прогноз погоды.

Да, я составлял дневник погоды. Мне нравилась география. Я даже занимал какое-то место на областной олимпиаде по географии, поэтому мне все это дело нравилось.

Скорее нет, потому что я, как и все, кто учился в школе, долго не понимал, куда пойти дальше. Тут сыграла воля случая. Я хотел быть программистом. Мне хорошо давались именно технические предметы, гуманитарные шли хуже. Я себя видел айтишником. А тут получилась связь между географией и IT-направлением.

Как и в любой профессии, есть и те, и те люди. Но многие прямо хотят пойти на геофак в МГУ, потому что это романтика. Можно отправиться в поход на корабле, поехать в экспедицию, полезть в горы проводить какие-то измерения либо в заповедник, либо в удаленную часть, где можно вволю попутешествовать и насладиться дикой нетронутой природой.

Очень хороший вопрос. Погода – это то, чего нельзя сделать без международной кооперации. Чтобы сделать прогноз для России, недостаточно знать, какая погода в России, потому что погода – это глобальная вещь. Говорят, что взмах крыла бабочки в Атлантическом океане может вызвать цунами на берегу чего-то там. Я не помню точную цитату и не ручаюсь за достоверность, но звучит примерно так.

Под эгидой Всемирной метеорологической организации проводятся наблюдения по стандартизованной схеме. Каждая страна, которую участвует во Всемирной метеорологической организации, а это практически все страны, которые у нас есть на карте мира, проводит измерения и дает свою информацию по этим измерениям всем. Взамен они получают все от всех. Тут происходит равный международный обмен метеорологической информацией.

Боюсь, что у нас пока нет столько коров, чтобы вызвать значительное влияние на климат. Климат меняется. Но давайте будем объективными, он менялся всегда. Здесь гораздо более сильные факторы, чем коровы, или болота, или что-то еще. Поэтому нужно в целом изучать баланс различных источников и понимать, какой вклад каждый из них вносит. Коровы вносят какой-то вклад, но не могу сказать, что критический.

Это связанные вещи. То, к чему мы привыкли в детстве, например, что обычно зимой такая-то погода или не бывало тропических ливней, – это немножко меняется. Наша главная цель – научиться приспосабливаться. На нашей жизни еще произойдут изменения. Не нужно ударяться в крайности как алармисты, которые говорят: «Все плохо, все пропало», или, наоборот, как те, кто говорит, что вообще ничего не происходит. Истина, как всегда, где-то посередине.

Какая-то доля истины в этом есть. Есть те, кто больше заинтересован, и те, кто меньше заинтересован, как и в любой сфере нашей жизнедеятельности. Поэтому я бы не назвал это теорией заговора. У того, что делается, всегда есть заинтересованные лица. Просто надо внимательно анализировать информацию. Каждый делает выводы сам для себя.

Каждый сервис делает прогноз погоды по-своему. Таким образом, человек либо больше кому-то доверяет, либо привык к какому-то определенному. Мы не навязываем свою точку зрения, а готовы участвовать в независимом сравнении качества прогноза погоды, если другие участники тоже готовы под этим подписаться.

Если сравнивать нас с глобальными поставщиками прогнозов погоды – в крупных центрах, например, в Европе, в Штатах, в Канаде, в Японии рассчитывают глобальные прогнозы погоды, про которые я рассказывал. Мы их используем для того, чтобы составить свой собственный прогноз погоды наряду с теми расчетами, которые делаем у нас на серверах.

На выходе прогноз, который получается с использованием машинного обучения, оказывается точнее, чем те прогнозы, которые входят в его состав. В этом смысле все прогнозы ошибаются, но мы стараемся ошибаться меньше других. Это пункт номер один.

Пункт номер два – это понятный интерфейс, чтобы информация считывалась с экрана моментально, и человек не тратил на это много времени. Средняя продолжительность пользования погодными сервисами – буквально пять секунд. За это время пользователь должен получить всю информацию, которой он интересуется: температура, атмосферное давление. Иногда можно посмотреть на ветер. Если сильный, значит, будет холоднее.

В 90% случаев люди используют погодное приложение как градусник за окном. Термометр. Да простят меня мои коллеги. Они заходят, чтобы посмотреть, какая сейчас температура за окном, есть ли дождь, облачно или солнечно. Поэтому у нас на это сделан наибольший акцент. Это большая цифра, какая сейчас температура, и иконка, которая показывает, что сейчас происходит за окном. Дальше люди смотрят погоду на ближайшие часы, на вечер, на следующий день. Погоду на 10 дней вперед смотрит уже меньшее количество людей. Обычно они это делают, если готовятся к какому-то событию.

Погодные приложения отличаются моделями, которые они используют, набором характеристик и дизайном. У «Яндекса» есть еще карта осадков, которая позволяет на ближайшие несколько часов с шагом в 10 минут сказать, когда начнется и закончится дождь.

Именно для того, чтобы правильно читать погодную информацию, в этом году мы запустили специализированные сценарии по потреблению погодного контента. Если зайти на мобильном телефоне через браузер в нашу погоду, там будет прогноз для садоводов, для водных видов спорта. Там мы собираем те параметры, которые нужны для определенной деятельности, потому что садоводам важно, влажная почва или нет, температура почвы менее важна, заморозки и все остальное. Тем, кто занимаются водными видами спорта, нужны температура воды, время начала прилива и отлива, ветер, его направление. У нас даже есть сценарий для рыбаков. В ближайшее время мы запустим подобный прогноз для занятий спортом на открытом воздухе. Летом – это бег, зимой – лыжи. Дальше будет и для автомобилистов.

Например, яхтсмены хотят получать информацию о ветре в удобном для них режиме. Они готовы за это платить. То же самое можно сказать про тех, кто занимается серфингом или чем-то подобным, для горнолыжников.

Часть из этих сценариев в рамках «Яндекс. Погоды» мы сделали бесплатными для пользования. Хотим попробовать, в том числе, подписочные модели на эти сервисы. Следите за новостями. Мы попробуем обе модели и посмотрим, какая из них лучше подходит для людей. Мы хотим запустить улучшенный прогноз для горнолыжных курортов. У нас по высоте горы показывается актуальная температура, погода, режим работы подъемников.

Пару лет назад мы провели исследование на эту тему. Взяли приметы, связанные с каждым месяцем. На большом архиве погодной информации (около 40 лет) проверили, а правда ли эта примета сбывается. Результат оказался следующим. Достоверных примет, которые сбываются с вероятностью хотя бы больше 40%, практически нет. Многие вообще нужно интерпретировать обратным образом.

Было несколько примет, которые более-менее еще можно было притянуть, что-то типа «Если в какой-то месяц дождь, то он будет еще несколько месяцев». Но что это конкретно за примета, я сейчас не вспомню. Можно вбить в «Яндексе»: «Яндекс. Погода», исследование про приметы», и там будет большая статья.

Мы взяли то, что хотя бы можно объективно сравнить. Условно, если паук сплел паутину, тяжело измерить, какой паук, какую паутину. Мы взяли те приметы, которые можно много раз интерпретировать.

Эти архивы сейчас оцифрованы. Мы можем сказать, какая погода была достаточно давно. К какой-то годовщине Пушкина мы делали исследование, какая погода была в день дуэли Пушкина. Мы достали архивные наблюдения (в те времена как раз они уже проводились) и попробовали восстановить картину дня.

Там были не привычные нам градусы Цельсия, а Реомюр, высота снега измерялась в аршинах, а не сантиметрах, давление тоже измерялось в старорусских единицах. Все это мы как раз приводили к тому, чтобы понять, какая все-таки была погода.

Когда сейчас метеоролог на метеостанции раз в три часа проводит измерения, он говорит, что на небе нет облаков. Так он сообщает информацию о том, что он наблюдает на небесном своде. А те записи, к тому же, были сделаны на французском языке. Раньше каждая страна и каждая сеть наблюдений проводили их разрозненно по своей методике, в своих единицах, в свое время. Благодаря тому, что сейчас существует единая сеть, когда одинаковые приборы в одинаковых единицах в одно и то же время по всей Земле проводят измерения, можно получить объективную картину.

Архивы имеют свою ценность. С их помощью мы можем посмотреть, какая погода была в конкретный день. Мы можем проводить какие-то исследования и закладывать в наши модели, потому что чем больше информации мы используем в машинном обучении, тем более умную модель мы можем построить.

Легко ли быть метеорологом?
Не очень просто, потому что каждый знает, как это правильно делать. Результаты твоей деятельности легко проверяемы. Если кто-то что-то делает, и это не очень сильно на что-то влияет, то и ладно. А то, что делают метеорологи, все видят, и все говорят: «Они ошиблись». Поэтому в этом смысле метеорологом быть не так уж и просто. Но зато здесь полная видимость твоей деятельности. Если ты ошибся, получишь от родных по шапке.

Работа метеорологом – это труд с девяти до шести и 5/2, или это нечто иное?
Зависит от деятельности. Есть посменная работа, когда ты должен дежурить смену на метеостанции, потом тебе на смену приходит другой. Бывает, ты составляешь какие-то модели, тут уже творческая деятельность.

У нас это не работа с девяти до шести, потому что когда люди нанимаются ко мне и спрашивают, когда нужно приходить на работу, а когда уходить, я говорю: «Мне все равно. Я не буду стоять с секундомером и засекать, что ты отработал восемь часов. Главное, чтобы дела были сделаны. Можно потратить 15 минут в день и решить задачу, а можно все сутки». В этом смысле тут азарт и вовлечение в деятельность.

Как стать метеорологом в 2023-м? Какую вы видите образовательную карьерную траекторию, чтобы потом прийти к вам работать?
Сейчас есть три крупных вуза, которые обучают метеорологов. Это МГУ на географическом факультете, Российский гидрометеорологический университет в Санкт-Петербурге, и Федеральный университет в Казани. Есть другие вузы, в которых в той или иной степени происходит что-то, связанное с метеорологией. Например, в сельскохозяйственных, потому что там важна агрометеорология. Классические вузы – это те три, которые я назвал.

Единственное, моя боль заключается в том, что современных метеорологов, скорее учат как на уроках географии. Они знают много про атмосферу, как происходят процессы, но они не умеют программировать. Для нас важны хотя бы базовые навыки программирования. У нас достаточно сильная связь с разработчиками-метеорологами. Нам важно, чтобы люди говорили на одном языке и могли не только руками рисовать карты, но и работать с метеоданными. Их обработка происходит с помощью кода на компьютерах.

Хотелось бы обратиться к тем, кто ответственен за образование современных метеорологов, чтобы включали не только атмосферные науки, но и обучали людей программировать, потому что это очень важно в современной жизни. Без этого сейчас никуда.

Что такое пресловутое «ощущается как» в погодных приложениях и можно ли ему верить?

Я тут могу пошутить, что я выбегаю каждое утро на улицу, проверяю, как оно «ощущается» и записываю. На самом деле, берутся несколько показателей, которые влияют на то, как люди ощущают погоду. Самый первый – температура. Потом влажность воздуха, потому что чем более влажный воздух, тем прохладнее ощущается мороз. Еще скорость ветра, потому что если на нас дует ветер, то кажется, что зябко и прохладно. Солнечная радиация – это не та радиация, про которую предупреждают знаки радиационной опасности, а просто солнечное излучение. Если солнышко на нас светит, мы обычно ощущаем себя чуть теплее, чем есть на самом деле.

Комбинируя четыре фактора – температура, влажность, ветер и солнечную радиацию, – можно получить «ощущается как» для человека в вакууме. Понятное дело, что у каждого свой порог чувствительности. Мы идем к тому, чтобы сделать персональное «ощущается как», но пока наш прогноз – для среднего человека. Возможно, скоро мы сможем еще советовать, как одеться по погоде в рамках приложения «Яндекс. Погода». А если совсем холодно, то будем советовать сразу вызвать такси.