Titel: A​utomatic ​M​eta Data ​P​rofiling and ​L​ineage for Integrating Heterogeneous Data Sources

Projektdauer: 01/2021 – 12/2023

Forschungsbereich: Data Quality

Die effiziente Verwaltung und Zusammenführung vieler heterogener und dynamischer Datenquellen ist zu einem entscheidenden Erfolgsfaktor für Finanzinstitute geworden. Mit zunehmender Heterogenität und Dynamik der Daten wird es jedoch immer schwieriger, den Überblick über historisch gewachsene und exponentiell anwachsende Datentöpfe zu behalten. Dies hat bereits zu erheblichen makroökonomischen Schäden geführt, unter anderem in der globalen Finanzkrise von 2007 und 2008, deren Ausmaß durch Echtzeittransparenz und damit einen besseren Überblick über Risiken und Metadaten hätte eingedämmt werden können. Leider gibt es derzeit keine Lösung für Finanzinstitute, die eine flexible Integration heterogener Datenquellen ermöglicht und gleichzeitig eine intuitive Metadaten-Aufbereitung bietet. Ziel von AMPL ist die Entwicklung eines neuen Werkzeugs zur Strukturierung, Analyse und Erschließung großer Mengen heterogener, dynamischer Datenquellen. Zu diesem Zweck berechnet das Werkzeug umfassende Datenprofile, die aus Statistiken, Korrelationen und komplexen Provenance-Informationen (Herkunft) bestehen.

Zielstellung

Durch das Aufbrechen bestehender Silos und die Verschmelzung innovativer Technologien mit den Anforderungen der Marktteilnehmer ermöglicht AMPL somit ein völliges Umdenken im Daten- und Metadatenmanagement.

Technologie

Methoden des maschinellen Lernens helfen beim Schema-Mapping (Schema-Matching, Ontologie-Matching) zwischen Datenquellen sowie bei neuen Methoden zur skalierbaren und inkrementellen Berechnung von Datenprofilen. Diese werden auf der Grundlage aktueller Vorarbeiten der Projektpartner und aktueller Forschungsergebnisse in den Bereichen Grafenanalyse, SQL-basierte Datenintegration und inkrementelle Datensatzverknüpfung (Entity Resolution) auf dynamischen und heterogenen Datenquellen entwickelt. Die Datenprofile werden dann in einem neuartigen webbasierten visuellen Frontend präsentiert, das die Dateninteraktion und -exploration erheblich vereinfacht.

Team

Projektleitung

• Prof. Dr. Erhard Rahm
• Matthias Täschner

Projektmitglieder

• Matthias Täschner
• Michal Miazga
• Daniel Abitz

Partner:innen

• Data Virtuality GmbH
• Leipzig University