Lernverfahren für geometrische Darstellungen

Projekttitel: Lernverfahren für geometrische Darstellungen

Projektdauer: 01.06.2021-31.12.2025

Forschungsbereich: Mathematische Grundlagen und statistisches Lernen

In diesem Projekt wollen wir Methoden des geometrischen Repräsentationslernens auf der Grundlage der nicht-euklidischen Geometrie weiterentwickeln. Viele wichtige Anwendungen der KI befassen sich mit Daten, die als Graphen, Netzwerke oder Bäume strukturiert sind und somit von Natur aus nicht-euklidisch sind.

In einer ersten Phase konzentrieren wir uns auf die hyperbolische Geometrie (die Geometrie negativ gekrümmter Räume), die aufgrund ihrer „baumartigen“ metrischen Struktur bereits wichtige Anwendungen bei Netzwerk-Einbettungen gefunden hat. Unser Ziel ist es, aktuelle Methoden zur Netzwerk-Einbettung weiterzuentwickeln und zu verbessern, sowohl hinsichtlich ihrer Genauigkeit als auch ihrer numerischen Effizienz.

Während Netzwerk-Einbettungen ein Problem des unüberwachten Lernens darstellen, werden wir in einem späteren Schritt Anwendungen im überwachten Lernen untersuchen. Ein vielversprechender Forschungsansatz ist hier das Prototyp-Lernen, bei dem Zielklassen durch Prototypen dargestellt werden, d. h. durch Punkte in einem geometrischen Zielraum, wie beispielsweise dem hyperbolischen Raum. Aufgrund seiner „verzweigten“ Struktur eignet sich der hyperbolische Raum gut für niedrigdimensionale Darstellungen von Lernproblemen mit einer großen Anzahl von Zielklassen. Mögliche Anwendungen in der KI sind das „Few-Shot“- oder „Zero-Shot“-Lernen, bei dem Instanzen klassifiziert werden, die während der Trainingsphase des Klassifikators nur selten oder gar nicht vorgekommen sind. Darüber hinaus planen wir, das Potenzial der nicht-euklidischen Geometrie für die interaktive Visualisierung komplexer Datensätze zu untersuchen. Aus einer breiteren Perspektive betrachtet ist es unsere Vision, geometrische Methoden wie nicht-euklidische Einbettungen oder die Analyse der lokalen Krümmung in das Standard-Werkzeugset der Netzwerkanalyse in der KI einzuführen.

Ziele

Im Projekt „Geometric Representation Learning“ verfolgen wir drei Hauptziele:

1. Verbesserung der Genauigkeit und Effizienz von Netzwerk-Embedding-Modellen
2. Nutzung der hyperbolischen Geometrie für überwachtes und unüberwachtes Lernen mit hierarchisch strukturierten Daten
3. Erforschung des Potenzials der nicht-euklidischen Geometrie für die Visualisierung komplexer Datensätze

Problemstellung

Die zentrale Idee des Projekts besteht darin, nicht-euklidische Geometrie, insbesondere hyperbolische Geometrie, mit bestehenden Ansätzen des maschinellen Lernens zu kombinieren. Aufgrund ihrer „baumartigen“ und exponentiell wachsenden Struktur eignet sich die hyperbolische Geometrie gut zur Darstellung hierarchischer Daten, wie sie in Anwendungen häufig vorkommen.

Technologie

• Nicht-euklidische Geometrie
• Netzwerk-Einbettungen
• Überwachtes und unüberwachtes Lernen

Publikationen

• Keller-Ressel, Martin, and Stephanie Nargang. „Strain-minimizing hyperbolic network embeddings with landmarks.“ Journal of Complex Networks 11.1 (2023): cnad002.
• Stephanie Nargang „Theory and Applications of Hyperbolic Network Embeddings“. PhD thesis. TU Dresden (2023)
• Mettes, P., Atigh, M. G., Keller-Ressel, M., Gu, J., & Yeung, S. (2023). Hyperbolic Deep Learning in Computer Vision: A Survey. arXiv preprint arXiv:2305.06611. (submitted to: International Journal of Computer Vision)
• Mina Ghadimi Atigh, Stephanie Nargang, Martin Keller-Ressel, Pascal Mettes „Knowledge-Agnostic Zero-Shot Recognition“ (2024). Submitted to CVPR 2024

Team

Teamleitung

• Prof. Dr. Martin Keller-Ressel

Teammitglieder

• Stephanie Nargang (until 02/2023)
• Florian Köhler (since 02/2023)