![[community profile]](https://www.dreamwidth.org/img/silk/identity/community.png){kind=small}
новость о перезапуске ARP
Nov. 1st, 2024 12:42 am![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
parohПроект ARP будет перезапущен в понедельник 4 ноября после технической паузы, в которую он вошел в декабре 2022 года.
Проект: Africa Rainfall Project
Опубликовано: 31 октября 2024 г.
Предыстория
Africa Rainfall Project (ARP) направлен на моделирование ливней в странах Африки к югу от Сахары для улучшения региональных прогнозов погоды. Цель состоит в том, чтобы запустить моделирование погоды с высоким разрешением (1 км) для всего региона в течение одного года. Предоставление точных прогнозов погоды имеет решающее значение для самодостаточности местного фермерского сообщества. Сравнивая результаты, полученные путем вычисления данных об осадках из различных источников с использованием World Community Grid, ученые могут создавать все более точные прогнозы, улучшать будущие моделирования и, в свою очередь, прогнозы погоды.
В декабре 2022 года проект был поставлен на техническую паузу из-за ограничений емкости их системы хранения, размещенной в национальной установке HPC в Нидерландах. Более подробную информацию об ограничении хранилища и подробных шагах, необходимых для перезапуска проекта, можно найти в нашем предыдущей новости за апрель.
новость о перезапуске ARP
Ранее команда ARP размещала на своих серверах в TU Delft все скрипты, данные и скомпилированные приложения, необходимые для подготовки входных данных для новых рабочих единиц. Команда ARP предоставляла нам эти новые входные данные для загрузки, чтобы мы могли подготовить следующее поколение рабочих единиц и проиндексировать их в BOINC. Вывод завершенных рабочих единиц, отправленный нам волонтерами, а затем от нас в TU Delft, был необходим, но недостаточен для подготовки следующего поколения рабочих единиц. Необходимо выполнить ряд шагов предварительной обработки, которые ссылаются на исходные метеорологические данные и данные о температуре поверхности, и это конвейер, который теперь размещен на серверах WCG для перезапуска ARP1 после того, как команда ARP любезно предоставила весь код скриптов и данные, а также полезную документацию. В результате WCG теперь находится в лучшем положении для работы с научными группами по моделированию погоды в будущем. Мы также обсуждали возможное расширение до версии GPU программного обеспечения WRF с нашим ведущим научным экспертом Ллойдом А. Трейнишем.
Каждая подзадача проекта ARP1, отправленная волонтерам в качестве рабочей единицы, отличается от других подзадач местоположением и временем. Каждая рабочая единица моделирует погоду в подрегионе, называемом доменом, и существует 35 609 перекрывающихся доменов, составляющих регион к югу от Сахары, для которого мы моделируем погоду с помощью приложения NCAR Weather Research Forecasting (WRF). Каждый из этих доменов, чтобы завершить работу за разумное время на устройствах волонтеров, моделирует погоду в «поколениях», которые представляют собой просто 48-часовые интервалы, помеченные от 000 до 183, что в сумме составляет год моделирования погоды для региона.
Поскольку выходные данные предыдущего поколения используются в качестве входных данных для следующего поколения, граница должна в конечном итоге синхронизироваться по всем доменам для выполнения общих вычислений. Некоторые домены могут отставать, а некоторые кластеры доменов, которые находятся достаточно далеко друг от друга, могут генерировать некоторые входы следующих поколений, не дожидаясь, пока их далекие соседи догонят. В прошлом мы теряли мудрость предыдущего поколения, но перезапуск моделирования с начальных условий или контрольной точки возможен, и мы обычно назначаем более высокий приоритет этим рабочим единицам в BOINC, пока не догоним.
Рисунок 1. Прогресс в моделировании прогноза погоды для каждого субрегиона Африки к югу от Сахары. Дата начала моделирования на один год — 01.07.2018, а конец — при расчете данных за 30.06.2019.
Теперь мы можем использовать результаты, которые мы накопили во время перехода на хранилище в Делфтском техническом университете, и снова начать генерировать входные данные для следующего поколения рабочих единиц ARP1. В большинстве случаев мы сможем продолжить с того места, на котором остановились, в ведущем поколении (большая часть которого находится между 130 и 140), и со временем, благодаря полной автоматизации сценариев, мы сможем подготовить постоянный поток рабочих единиц ARP1.
Благодарим команду ARP за постоянное партнерство с WCG. Благодарим всех волонтеров, которые помогли обработать первую фазу проекта, и заранее благодарим всех тех, кто поможет нам довести проект ARP до успешного завершения.
Команда WCG
на англ.
Проект: Africa Rainfall Project
Опубликовано: 31 октября 2024 г.
Предыстория
Africa Rainfall Project (ARP) направлен на моделирование ливней в странах Африки к югу от Сахары для улучшения региональных прогнозов погоды. Цель состоит в том, чтобы запустить моделирование погоды с высоким разрешением (1 км) для всего региона в течение одного года. Предоставление точных прогнозов погоды имеет решающее значение для самодостаточности местного фермерского сообщества. Сравнивая результаты, полученные путем вычисления данных об осадках из различных источников с использованием World Community Grid, ученые могут создавать все более точные прогнозы, улучшать будущие моделирования и, в свою очередь, прогнозы погоды.
В декабре 2022 года проект был поставлен на техническую паузу из-за ограничений емкости их системы хранения, размещенной в национальной установке HPC в Нидерландах. Более подробную информацию об ограничении хранилища и подробных шагах, необходимых для перезапуска проекта, можно найти в нашем предыдущей новости за апрель.
новость о перезапуске ARP
Ранее команда ARP размещала на своих серверах в TU Delft все скрипты, данные и скомпилированные приложения, необходимые для подготовки входных данных для новых рабочих единиц. Команда ARP предоставляла нам эти новые входные данные для загрузки, чтобы мы могли подготовить следующее поколение рабочих единиц и проиндексировать их в BOINC. Вывод завершенных рабочих единиц, отправленный нам волонтерами, а затем от нас в TU Delft, был необходим, но недостаточен для подготовки следующего поколения рабочих единиц. Необходимо выполнить ряд шагов предварительной обработки, которые ссылаются на исходные метеорологические данные и данные о температуре поверхности, и это конвейер, который теперь размещен на серверах WCG для перезапуска ARP1 после того, как команда ARP любезно предоставила весь код скриптов и данные, а также полезную документацию. В результате WCG теперь находится в лучшем положении для работы с научными группами по моделированию погоды в будущем. Мы также обсуждали возможное расширение до версии GPU программного обеспечения WRF с нашим ведущим научным экспертом Ллойдом А. Трейнишем.
Каждая подзадача проекта ARP1, отправленная волонтерам в качестве рабочей единицы, отличается от других подзадач местоположением и временем. Каждая рабочая единица моделирует погоду в подрегионе, называемом доменом, и существует 35 609 перекрывающихся доменов, составляющих регион к югу от Сахары, для которого мы моделируем погоду с помощью приложения NCAR Weather Research Forecasting (WRF). Каждый из этих доменов, чтобы завершить работу за разумное время на устройствах волонтеров, моделирует погоду в «поколениях», которые представляют собой просто 48-часовые интервалы, помеченные от 000 до 183, что в сумме составляет год моделирования погоды для региона.
Поскольку выходные данные предыдущего поколения используются в качестве входных данных для следующего поколения, граница должна в конечном итоге синхронизироваться по всем доменам для выполнения общих вычислений. Некоторые домены могут отставать, а некоторые кластеры доменов, которые находятся достаточно далеко друг от друга, могут генерировать некоторые входы следующих поколений, не дожидаясь, пока их далекие соседи догонят. В прошлом мы теряли мудрость предыдущего поколения, но перезапуск моделирования с начальных условий или контрольной точки возможен, и мы обычно назначаем более высокий приоритет этим рабочим единицам в BOINC, пока не догоним.
Рисунок 1. Прогресс в моделировании прогноза погоды для каждого субрегиона Африки к югу от Сахары. Дата начала моделирования на один год — 01.07.2018, а конец — при расчете данных за 30.06.2019.
Теперь мы можем использовать результаты, которые мы накопили во время перехода на хранилище в Делфтском техническом университете, и снова начать генерировать входные данные для следующего поколения рабочих единиц ARP1. В большинстве случаев мы сможем продолжить с того места, на котором остановились, в ведущем поколении (большая часть которого находится между 130 и 140), и со временем, благодаря полной автоматизации сценариев, мы сможем подготовить постоянный поток рабочих единиц ARP1.
Благодарим команду ARP за постоянное партнерство с WCG. Благодарим всех волонтеров, которые помогли обработать первую фазу проекта, и заранее благодарим всех тех, кто поможет нам довести проект ARP до успешного завершения.
Команда WCG
на англ.
