Eignung von Workflow-Management-Tools für BigData-Aufgabenstellungen

Techniken zum Workflow- und Datenmanagement sind zunehmend verbreitet. Prominente Beispiele sind z.B. Taverna, Kepler, Knime oder auch R. Jedoch stoßen auch auf diesem Feld herkömmliche Herangehensweisen und Werkzeuge an Grenzen bei drastisch zunehmendem Datenvolumen, häufig auch „Big Data“ genannt. Im Rahmen der Arbeit soll die Eignung von verschiedenen Workflow- und Datenmanagement-Werkzeugen für typische Big Data Aufgabenstellungen evaluiert werden. Dazu gehören folgende Aufgaben:

• Recherche zu vorhandenen Workflow-Management-Werkzeugen, insbesondere im Bereich Scientific Workflow Management.
• Recherche zu den Anforderungen an Workflow- und Datenmanagement-Werkzeugen von typischen Big Data Aufgabenstellungen
• Aufstellen eines Bewertungs- und Klassifikations-Schemas
• Evaluation anhand des aufgestellten Schemas
• Zwei beispielhafte Implementationen von Big Data Workflows

Links:

• Kepler: http://kepler-project.org
• Knime: http://www.knime.org/
• R: http://www.r-project.org/
• Apache Taverna: http://taverna.incubator.apache.org/

Literatur:

• Barker, Adam; van Hemert, Jano (2008): Scientific Workflow: A Survey and Research Directions. In: Roman Wyrzykowski, Jack Dongarra, Konrad Karczewski und Jerzy Wasniewski (Hg.): Parallel Processing and Applied Mathematics, Bd. 4967: Springer Berlin Heidelberg (Lecture Notes in Computer Science), S. 746-753.
• Zhao, Yong; Li, Youfu; Lu, Shiyong; Raicu, Ioan; Lin, Cui (2014): Devising a Cloud Scientific Workflow Platform for Big Data. In: Services (SERVICES), 2014 IEEE World Congress on, S. 393–401.

Kontakt:

• Lars-Peter Meyer
• Dr. Eric Peukert

Counterpart