Lernen von spatiotemporalen Modellen aus begrenzten, verrauschten Daten

Projekttitel: Lernen von spatiotemporalen Modellen aus begrenzten, verrauschten Daten

Duration: Januar 2021 – Dezember 2025

Forschungsbereich: Angewandte KI und Big Data – Biowissenschaften und Medizin

Daten in den Lebenswissenschaften sind typischerweise spärlich (wenige Proben in hochdimensionalen Räumen) und verrauscht (Messunsicherheiten und intrinsische biologische Variabilität). Im Projekt „Lernen von spatiotemporalen Modellen aus begrenzten, verrauschten Daten“ ermöglichen wir den Einsatz von maschinellem Lernen, um interpretierbare, symbolische mathematische Modelle biomedizinischer Dynamiken in Raum und Zeit aus spärlichen (einige hundert Proben) und verrauschten (bis zu 30 % Rauschen) Daten abzuleiten. Die resultierenden Gleichungsmodelle können anschließend mit etablierten mathematischen Werkzeugen analysiert werden, um Einblicke in Stabilität, Bifurkationen und die zugrundeliegenden physikalischen Prozesse im beobachteten biomedizinischen Prozess zu gewinnen.

Ziele

• Entwicklung eines maschinellen Lernverfahrens zur Ableitung symbolischer Gleichungsmodelle aus spärlichen und verrauschten spatiotemporalen Messdaten.
• Bereitstellung einer mathematischen Methode zur Gewährleistung der physikalischen Konsistenz der abgeleiteten Modelle.
• Entwicklung einer tiefen neuronalen Netzarchitektur zur Vorhersage von Dynamiken aus vergangenen Proben, die numerisch konsistent ist.
• Mathematische Charakterisierung des hochdimensionalen Phasenraums der abgeleiteten Modelle hinsichtlich seiner Topologie (z. B. Gleichgewichtspunkte, Attraktoren, Extremalpunkte).
• Etablierung einer berechenbaren Maßzahl für die Ähnlichkeit oder Äquivalenz zweier dynamischer Modelle.

Problemstellung

Das Lernen interpretierbarer mathematischer Modelle aus Beobachtungsdaten hat in den letzten zehn Jahren erhebliche Forschungsaufmerksamkeit erfahren. Die Hauptprobleme bisheriger Ansätze waren jedoch, dass sie empfindlich gegenüber Rauschen in den Daten waren, große Datenmengen erforderten oder benutzeranpassbare Parameter enthielten, die so eingestellt werden konnten, dass nahezu jedes gewünschte Ergebnis erzielt wurde. Zusammen betrachtet haben diese drei Einschränkungen bisher die Anwendung solcher Methoden in den Lebenswissenschaften verhindert, wo das wahre Modell unbekannt ist und die Daten spärlich und verrauscht sind.

Praxisbeispiel

Als Proof-of-Concept wurden vorläufige Ergebnisse aus diesem Projekt genutzt, um automatisch das molekulare Protein-Interaktionsnetzwerk während der frühen Embryonalpolarisation von C. elegans aus einem einzigen Mikroskopievideo abzuleiten (siehe Maddu et al., Proc. R. Soc. A., 2022). Die aus dem Video abgeleiteten Wechselwirkungen stimmten exakt mit bereits veröffentlichten Ergebnissen aus biochemischen Experimenten überein.

Technologie

1. Technologie
2. Sparse hochdimensionale Regression
3. Stabilitätsauswahl
4. Strukturierte Normen und Gruppensparsität
5. Deep Learning
6. Approximative kombinatorische Optimierung mittels iterativer harter Schwellenwertbildung
7. Persistente Homologie
8. Determinantal-Punktprozesse

Ausblick

Zukünftig wird das Projekt „Lernen von spatiotemporalen Modellen aus begrenzten, verrauschten Daten“ auf die Klassifizierung verschiedener Modelle basierend auf ihrer hochdimensionalen Verlustlandschaft oder ihrem Phasenraum ausgeweitet. Dies berührt die zentrale Frage, wann (und in welchem Sinne) zwei dynamische Modelle äquivalent oder „ähnlich“ sind. Um diese Frage zu beantworten, werden Konzepte aus der topologischen Datenanalyse eingesetzt. Zudem wird das Projekt auf das Lernen gegenseitiger räumlicher Anordnungen von Objekten ausgedehnt, wobei determinante Punktfelder verwendet und untersucht werden, wie solche Strukturen stabil aus begrenzten und verrauschten Messdaten identifiziert werden können.

Publikationen

• D. Sturm, S. Maddu, and I. F. Sbalzarini. Learning locally dominant force balances in active particle systems. ArXiV, 2307.14970, 2023.
• S. Maddu, D. Sturm, B. L. Cheeseman, C. L. Müller, and I. F. Sbalzarini. STENCIL-NET for equation-free forecasting from data. Sci. Rep., 13:12787, 2023
• S. Maddu, B. L. Cheeseman, I. F. Sbalzarini, and C. L. Müller. Stability selection enables robust learning of differential equations from limited noisy data. Proc. R. Soc. A, 478(2262):20210916, 2022.
• S. Maddu, D. Sturm, C. L. Müller, and I. F. Sbalzarini. Inverse Dirichlet weighting enables reliable training of physics informed neural networks. Mach. Learn.: Sci. Technol., 3:015026, 2022.
• S. Maddu, B. L. Cheeseman, C. L. Müller, and I. F. Sbalzarini. Learning physically consistent differential equation models from data using group sparsity. Phys. Rev. E, 103: 042310, 2021.
• S. Maddu, D. Sturm, B. L. Cheeseman, C. L. Müller, and I. F. Sbalzarini. Learning computable models from data. In F. Chinesta, R. Abgrall, O. Allix, and M. Kaliske, editors, Proc. 14th World Congress on Computational Mechanics (WCCM), pages 1–6, DOI: 10.23967/wccm-eccomas.2020.190, 2021. ECCOMAS.

Team

Teamleitung

• Prof. Dr. Ivo F. Sbalzarini

Teammitglieder

• Dominik Sturm
• Suryanarayana Maddu
• Dr. Abhishek Behera

Partner

• Center for Systems Biology Dresden
• LMU München
• Helmholtz Center München
• Flatiron Institute New York City