Methoden für das Transfer-Learning bei Zeitreihendaten

Projekttitel: Methoden für das Transfer-Learning bei Zeitreihendaten

Projektdauer: 01.06.2021-31.12.2025

Forschungsbereich: Mathematische Grundlagen und statistisches Lernen

Die Analyse von Zeitreihendaten ist ein anspruchsvolles Thema in verschiedenen Fachgebieten, insbesondere wenn mehrere parallele Zeitreihen zur Vorhersage von Trends herangezogen werden. Typische Probleme in der Praxis sind (1) die schwierige Unterscheidung zwischen Auto-, Kreuz- und kreuzverzögerten Korrelationen, (2) ungleichmäßige Abstände zwischen den Zeitpunkten, (3) fehlende Werte und (4) eine geringe Anzahl verfügbarer Datenpunkte. In diesem Projekt analysieren, vergleichen und verbessern wir zahlreiche Vorhersagemodelle auf der Grundlage von Zeitreihendaten. Wir werden beispielsweise nichtlineare autoregressive exogene Modelle (NARX), Long-Short-Term-Memory-Modelle (LSTM), Gated-Recurrent-Unit-Netzwerke (GRU) sowie mechanistisch inspirierte neuronale Netze betrachten, wobei letztere darauf abzielen, aus der natürlichen Intelligenz abgeleitete mechanistische Modelle mit künstlicher Intelligenz zu kombinieren.

Insbesondere analysieren wir die Einbettungs- und Lerneigenschaften solcher Netzwerke. Außerdem untersuchen wir die relative Bedeutung verschiedener Transfer-Learning-Ansätze bei der Parametrisierung des Modells für unterschiedliche Situationen.

Ziele

Im Rahmen des Projekts „Methoden für das Transfer-Learning bei Zeitreihendaten“ verfolgen wir drei Hauptziele:

• Vergleich der Einbettungseigenschaften verschiedener Vorhersagemodelle
• Entwicklung geeigneter Lernrahmen für Modelle unter Einbeziehung verschiedener Transferlernansätze
• Bewertung der relativen Bedeutung von mechanistischen Annahmen, die auf natürlicher Intelligenz basieren, für Vorhersagezwecke

Problemstellung

Es werden verschiedene Methoden und Ansätze für auf Zeitreihendaten basierende Vorhersagemodelle vorgeschlagen. Diese Modelle werden in der Regel in einem heuristischen Rahmen eingesetzt, der sich nur schwer auf andere Situationen verallgemeinern lässt. Insbesondere gibt es keine allgemeine Theorie oder gar Leitlinie dafür, welche Methode bzw. welches Modell in welcher Situation verwendet werden sollte. Ein Grund dafür ist, dass die theoretischen Aspekte hinter diesen Modellen noch nicht ausreichend erforscht sind. Wir wollen diese Situation verbessern, indem wir die Einbettungseigenschaften dieser Modelle analysieren, um geeignete Anwendungsszenarien zu identifizieren. Darüber hinaus werden wir die Lerneigenschaften dieser Modelle untersuchen, um zu entscheiden, welche Datensätze für bestimmte Modellanwendungen geeignet sind. Schließlich wird die relative Bedeutung von natürlicher und künstlicher Intelligenz für die Modellbildung bewertet, um beispielsweise zu beurteilen, wie gut wissensgesteuerte Modelle im Vergleich zu phänomenologischen Vorhersagemodellen abschneiden.

Praxisbeispiel

Wir haben unsere Methoden auf die Modellierung individueller Patientendaten im Rahmen einer Chemotherapie angewendet. Insbesondere haben wir Zeitreihendaten von Blutzellen modelliert, um die Toxizität in nachfolgenden Therapiezyklen vorherzusagen und so die klinische Entscheidungsfindung zu unterstützen.

Technologie

• Verschiedene Zeitreihenmodelle wie NARX und GRU
• Biologisch inspirierte Modellierung
• Transfer-Learning

Ausblick

Wir sehen großes Potenzial in der Kombination von natürlicher und künstlicher Intelligenz für die Zeitreihenmodellierung. Daher werden wir weiter an Kombinationen aus wissensbasierten und phänomenologisch abgeleiteten Modellierungsansätzen arbeiten.

Publikationen

• Steinacker M, Kheifetz Y, Scholz M. Individual modelling of haematotoxicity with NARX neural networks: A knowledge transfer approach. Heliyon. 2023 Jul 5;9(7):e17890. doi: 10.1016/j.heliyon.2023.e17890. PMID: 37483774; PMCID: PMC10362198.

Team

Teamleitung

• Prof. Dr. Markus Scholz

Teammitglieder

• Marie Steinacker
• Yuri Kheifetz