DeepESDL

Projekttitel: DeepESDL – Earth System Data Lab

Projektdauer: 2022 bis 2025

Forschungsbereich: Angewandtes Machine Learning, Big Data Machine Learning, Erd- und Umweltwissenschaften

Ziele

Künstliche Intelligenz wird in der Erdbeobachtung immer wichtiger, da große Teile des Erdsystems kontinuierlich von Sensoren überwacht werden und KI sowohl mit dem Datenvolumen als auch mit den heterogenen Dateneigenschaften umgehen kann. Satelliten erfassen beispielsweise Atmosphäre, Land und Ozean mit bislang unerreichter Genauigkeit. Im Rahmen von DeepESDL wurden die Fähigkeiten des Earth System Data Lab erweitert, um die Anwendung von Machine-Learning-Methoden auf Earth System Data Cubes zu unterstützen.

Wir stellen drei Python-basierte Best-Practice-Jupyter-Notebooks auf Grundlage eines generischen Anwendungsfalls bereit, um die Umsetzung moderner Machine-Learning-Bibliotheken auf ESDCs in der DeepESDL-Hub-Umgebung zu demonstrieren. Jedes Notebook umfasst einen eigenständigen Workflow, Markdown-Zellen, Kommentare und Plots für eine benutzerfreundliche Anwendung und Orientierung und basiert jeweils auf einer der drei etablierten Open-Source-ML-Bibliotheken:

• scikit-learn
  Für klassisches Machine Learning wie Support Vector Machines, Entscheidungsbäume, Regressionen oder Clustering bietet scikit-learn ein breites Spektrum an Funktionen, das viele grundlegende Anforderungen abdeckt.

• PyTorch
  Für größere neuronale Netze und Deep Learning werden zusätzliche ML-Toolchains benötigt, zum Beispiel das Python-basierte ML-Framework PyTorch. Mit PyTorch werden erfahrene Nutzer:innen unterstützt. Es bietet eine Low-Level-API und erlaubt hohe Flexibilität bei der Entwicklung und Anpassung von Deep-Learning-Modellen. Außerdem ermöglicht es GPU-Berechnungen und unterstützt Transfer Learning, Domain Adaptation sowie verschiedene Methoden zum Fine-Tuning von Modellen.

• TensorFlow/Keras
  Keras bietet eine High-Level-API, die auf dem verbreiteten Ausführungs-Backend TensorFlow läuft. Aufgrund seiner Einfachheit eignet es sich besonders für Erdsystemwissenschaftler:innen, die keine neuen neuronalen Netzwerkarchitekturen selbst entwickeln müssen. Wie PyTorch ist auch TensorFlow Python-basiert, erlaubt GPU-Berechnungen und unterstützt Deep-Learning-Anwendungen einschließlich Transfer Learning und Domain Adaptation.

Das Modelltracking erfolgt über TensorBoard und mlflow. Diese Werkzeuge bieten wissenschaftlichen Teams eine leicht nutzbare Plattform, um Machine-Learning-Workloads in einer kollaborativen Umgebung auszuführen und zu skalieren, einschließlich Versionierung und Austausch von Parametern, Modellen, Artefakten und Ergebnissen innerhalb des Teams und gegebenenfalls auch mit externen Nutzer:innen. Mlflow unterstützt insbesondere MLOps-Pipelines, indem Experimente protokolliert und ausgewertet sowie Modelle in einer Registry gespeichert werden können. Persistente mlflow-Deployments werden auf Teamebene bereitgestellt, damit jedes Teammitglied seine Experimente mit denen anderer vergleichen und die trainierten Modelle anderer nutzen kann. TensorBoard wird als weiteres kollaboratives Werkzeug in diesem MLOps-Kontext derzeit von den Forschungsteams evaluiert und steht als Teil des TensorFlow-Conda-Kernels einzelnen Nutzer:innen innerhalb ihrer JupyterLab-Sitzung zur Verfügung.

Technologien

• xarray, zarr

Team

• ESA – The European Space Agency
• RSC4Earth (Prof. Dr. Miguel Mahecha, David Monterro)
• Brockmann Consult GmbH
• EOX

Betreuung

• Dr. Josefine Umlauft (ScaDS.AI Dresden/Leipzig)

Publikationen

• Brandt, G., Balfanz, A., Fomferra, N., Morbagal Harish, T., Mahecha, M., Kraemer, G., Montero, D., Meißl, S., Achtsnit, S., Umlauft, J., Neumann, A., Horton, A., Ewart, M., Gans, F., and Anghelea, A.: DeepESDL – an open platform for research and collaboration in Earth Sciences, EGU General Assembly 2023, Vienna, Austria, 23–28 Apr 2023, EGU23-15225, https://doi.org/10.5194/egusphere-egu23-15225, 2023.