Fast Multi-source Entity Resolution System (FAMER)

Titel: Fast Multi-source Entity Resolution system (FAMER)

Deutsch: Schnelles Multi-Source-Entitätsauflösungssystem

Forschungsbereich: Datenqualität und Datenintegration

FAMER (Fast Multi-source Entity Resolution System) ist ein skalierbares Framework für die verteilte Auflösung von Entitäten aus mehreren Quellen. Es kann Ähnlichkeitsgraphen für Entitäten aus mehreren Quellen auf der Grundlage verschiedener Verknüpfungsschemata erstellen; auch bestehende Verknüpfungen aus dem Web of Data können zur Erstellung des Ähnlichkeitsgraphen verwendet werden. FAMER bietet außerdem mehrere Entitäts-Clustering-Schemata. Diese verwenden den Ähnlichkeitsgraphen, um Gruppen übereinstimmender Entitäten zu bestimmen, mit dem Ziel, die Ähnlichkeit zwischen Entitäten innerhalb eines Clusters zu maximieren und die Ähnlichkeit zwischen Entitäten verschiedener Cluster zu minimieren. Darüber hinaus ist FAMER in der Lage, Cluster zu reparieren, die sich beispielsweise überschneiden und/oder in Bezug auf ihre Quelle inkonsistent sind.

FAMER ist auch in der Lage, den inkrementellen Abgleichprozess durchzuführen. Der Ansatz verwendet einen sogenannten geclusterten Ähnlichkeitsgraphen, d. h. einen Ähnlichkeitsgraphen, der bereits bestimmte Cluster widerspiegelt. Die Eingabe des Workflows ist ein Strom neuer Entitäten aus bestehenden Quellen oder aus einer neuen Quelle sowie der bereits bestimmte geclusterte Ähnlichkeitsgraph aus früheren Iterationen. Der inkrementelle Teil „Linking and Clustering/Repairing” unterstützt zwei allgemeine Ansätze zur Integration der Gruppe neuer Entitäten in Cluster. Beim Basisansatz (ohne Reparatur) werden die neuen Entitäten entweder einem ähnlichen bestehenden Cluster hinzugefügt oder sie bilden einen neuen Cluster. Ein ausgefeilterer Ansatz ist in der Lage, bestehende Cluster zu reparieren, um eine bessere Clusterzuordnung für neue Entitäten zu erreichen, indem ein Teil des bestehenden Clustergraphen neu geclustert wird. Die Ausgabe des inkrementellen Clusterings ist ein vollständig geclusterter Graph. Die Cluster können optional in der Fusion-Komponente fusioniert werden, sodass alle Entitäten durch eine einzige Entität, den sogenannten Clustervertreter, repräsentiert werden.

FAMER wird mit Apache Flink™ implementiert, sodass die Berechnung von Ähnlichkeitsgraphen und die Clustering-Ansätze parallel auf Clustern variabler Größe ausgeführt werden können. Wir haben außerdem ein Visualisierungstool namens SIMG-Viz entwickelt, um die von FAMER ermittelten Ähnlichkeitsgraphen und Cluster visuell zu analysieren.

Ziele

• Effiziente parallele Ausführung von Abgleich-Workflows in der Cloud
• Effiziente Anwendung von Clustering-Schemata für den Entitätsabgleich
• Effiziente Methoden zur Reparatur des Entitätsabgleichs
• Effiziente parallele Ausführung für inkrementelles Verknüpfen und Clustering.

Team

• Dr. Alieh Saeedi
• Stefan Lerm
• Matthias Täschner
• Daniel Obraczka
• Moritz Wilke
• Abdalrahman Alkamel
• M. Ali Rostami
• Volodymyr Moroz
• Dr. Eric Peukert
• Prof. Dr. Erhard Rahm

Publikationen

• Saeedi, A. ; David, L. ; Rahm, E., MATCHING ENTITIES FROM MULTIPLE SOURCES WITH HIERARCHICAL AGGLOMERATIVE CLUSTERING, KEOD 2021
• Lerm, S. ; Saeedi, A. ; Rahm, E., EXTENDED AFFINITY PROPAGATION CLUSTERING FOR MULTI-SOURCE ENTITY RESOLUTION, BTW 2021
• Saeedi, A., CLUSTERING APPROACHES FOR MULTI-SOURCE ENTITY RESOLUTION, Dissertation, Universität Leipzig
• Saeedi, A. ; Peukert, E. ; Rahm, E., INCREMENTAL MULTI-SOURCE ENTITY RESOLUTION FOR KNOWLEDGE GRAPH COMPLETION, Proc. ESWC
• Saeedi, A. ; Nentwig, M. ; Peukert, E. ; Rahm, E., SCALABLE MATCHING AND CLUSTERING OF ENTITIES WITH FAMER, Complex Systems Informatics and Modeling Quarterly (CSIMQ), Issue 16, Sep./Oct. 2018, pp 61–83
• Saeedi, A. ; Peukert, E. ; Rahm, E., USING LINK FEATURES FOR ENTITY CLUSTERING IN KNOWLEDGE GRAPHS, Proc. ESWC 2018 (Best research paper award)
• Rostami, M. ; Saeedi, A. ; Peukert, E. ; Rahm, E., INTERACTIVE VISUALIZATION OF LARGE SIMILARITY GRAPHS AND ENTITY RESOLUTION CLUSTERS, Proc. EDBT 2018