Платформа для інтеграції інструментів і сервісів оброблення метеоданих засобами штучного інтелекту

Abstract

UA: Предметом дослідження є інструменти, сервіси та платформи забезпечення прогнозування локальних метеоумов. Процес прогнозування метеоумов за певною геолокацією доволі складний. Джерелами помилок прогнозування є об’єктивні причини, які є наслідками складності метеопроцесів, що взагалі існували завжди, а також суттєвих кліматичних змін через глобальне потепління. Використання моделей машинного та глибокого навчання (Machine Learning and Deep Learning, ML&DL) разом з уточненням результатів класичних фізичних моделей атмосфери – важливий крок підвищення точності моделей прогнозування. Моделі для прогнозування метеоумов стають усе більше гібридними, а інформація, що застосовується для навчання ML&DL-моделей, – усе більш різноманітною та має різні джерела походження. Для трансформації структурованих, неструктурованих та напівструктурованих метеоданих і прогнозування метеоумов використовуються потужні й не завжди безкоштовні середовища провідних розробників. Мета роботи – аналіз можливостей наявних платформ використання ML&DL-моделей для прогнозування метеоумов і створення платформи для прогнозування метеоумов, яка має гібридну полегшену архітектуру (Hybrid LightWeight Architecture, HLWA). Платформа на основі HLWA виконує такі завдання: розподілення етапів оброблення метеоданих між різними постачальниками інструментів і сервісів із хмарних середовищ, але водночас дає змогу інтегрувати ресурси та інструменти оброблення на одній платформі. Розгортання інструментів і сервісів підготовки метеоданих і прогнозування метеоумов у роботі пропонується на сервері AWS Lightsail з використанням Node-RED, MongoDB та AWS SageMaker AI. У статті впроваджено методи декомпозиції процесів прогнозування метеоумов. Результатом роботи є створення моделі платформи у вигляді UML-діаграми компонентів з уточненням властивостей кожного компонента платформи та інтерфейсів. Висновком статті є твердження, що застосування пропонованої платформи для дослідження гібридних моделей прогнозування метеоумов на основі ML&DL-моделей є зручним, економічним і перспективним рішенням.

EN: The subject of the study is tools, services and platforms for forecasting local weather conditions. The process of forecasting weather conditions for a specific geolocation is quite complex. The sources of forecasting errors are objective reasons that are consequences of the complexity of weather processes, which have always existed, as well as significant climate changes due to global warming. The use of Machine Learning and Deep Learning (ML&DL) models, together with the refinement of the results of classical physical models of the atmosphere, is an important step in increasing the accuracy of forecasting models. Models for forecasting weather conditions are increasingly becoming hybrid, and the data used to train ML&DL models is increasingly diverse and has different sources of origin. Powerful and not always free environments from leading developers are used to transform structured, unstructured and semi-structured weather data and forecast weather conditions. The purpose of the work is to analyze the capabilities of existing platforms for using ML&DL models for weather forecasting and to create a platform for weather forecasting that has a hybrid lightweight architecture (Hybrid LightWeight Architecture, HLWA). The HLWA-based platform solves such problems as distributing the stages of weather data processing between different providers of tools and services from cloud environments, but at the same time allows integrating resources and processing tools on a single platform. The deployment of tools and services for preparing weather data and forecasting in the work is proposed on the AWS Lightsail server using Node-RED, MongoDB and AWS SageMaker AI. The article uses methods for decomposition of weather forecasting processes. The results of the research are the creation of a platform model in the form of a UML component diagram with clarification of the properties of each platform component and interfaces. The conclusion of the article is the statement that using the proposed platform for studying hybrid weather forecasting models based on ML&DL models is a convenient, economical and promising solution.