AMPL

Titel: A​utomatic ​M​eta Data ​P​rofiling and ​L​ineage for Integrating Heterogeneous Data Sources (Automatische Metadaten-Profilierung und Herkunftsinformation zur Integration heterogener Datenquellen)

Projektdauer: 01/2021 – 12/2023

Forschungsbereich: Datenqualität und – integration

Die effiziente Verwaltung und Zusammenführung vieler heterogener, dynamischer Datenquellen ist für Finanzinstitute zu einem entscheidenden Erfolgsfaktor geworden. Mit zunehmender Heterogenität und Dynamik der Daten wird es jedoch immer schwieriger, den Überblick über historisch gesammelte und exponentiell wachsende Datenbestände zu behalten. Dies hat bereits zu erheblichen makroökonomischen Schäden geführt, darunter die globale Finanzkrise von 2007 und 2008. Das Ausmaß dieser Krise hätte durch Echtzeit-Transparenz und damit eine bessere Übersicht über Risiken und Metadaten begrenzt werden können. Leider gibt es derzeit keine Lösung für Finanzinstitute, die eine flexible Integration heterogener Datenquellen bei gleichzeitig intuitiver Metadatenaufbereitung ermöglicht. AMPL hat sich zum Ziel gesetzt, ein neues Tool zur Strukturierung, Analyse und Erforschung großer Mengen heterogener, dynamischer Datenquellen zu entwickeln. Zu diesem Zweck berechnet das Tool umfassende Datenprofile, die aus Statistiken, Korrelationen und komplexen Herkunftsinformationen (Lineage) bestehen.

Ziele

Durch den Abbau bestehender Speicher und die Zusammenführung innovativer Technologien mit den Anforderungen der Marktteilnehmer ermöglicht AMPL somit ein völlig neues Denken in Bezug auf die Verwaltung von Daten und Metadaten.

Technologie

Maschinell lernunterstützte Methoden helfen bei der Schema-Zuordnung (Schema-Abgleich, Ontologie-Abgleich) zwischen Datenquellen sowie bei neuen Methoden zur skalierbaren und inkrementellen Berechnung von Datenprofilen. Diese werden auf der Grundlage aktueller Vorarbeiten der Projektpartner und neuer Forschungsergebnisse in den Bereichen Graphenanalyse, SQL-basierte Datenintegration und inkrementelle Datensatzverknüpfung (Entitätsauflösung) bei dynamischen und heterogenen Datenquellen entwickelt. Die Datenprofile werden dann in einer neuartigen webbasierten visuellen Benutzeroberfläche dargestellt, die die Dateninteraktion und -exploration erheblich vereinfacht.

Team

Leitung

Prof. Dr. Erhard Rahm

Universität Leipzig

Department of Computer Science, Datenbanken-Gruppe, Professur für Datenbanken

Matthias Täschner

Universität Leipzig

DSC ScaDS.AI Leipzig

Teammitglieder

Michal Miazga

Universität Leipzig

• Daniel Abitz

Partner

• Data Virtuality GmbH
• Leipzig University