Vergleich und Evaluation von SQL-on-Hadoop Lösungen

In den letzten Jahren wurden verschiedene Technologien zur Speicherung und Verarbeitung sehr großer Datenmengen wie Apache Hadoop, Spark oder Flink entwickelt. Die Entwicklung von Anwendungen auf Basis dieser Technologien und den zugrundeliegenden Programmiermodellen ist jedoch meist komplex. Viele Nutzer vermissen die weitestgehend standardisierte SQL-Schnittstelle die sie aus relationalen Datenbanksystemen gewöhnt sind. Schnell haben sich daher SQL-ähnliche Schnittstellen wie HIVE entwickelt die es erlauben SQL-ähnliche Anfragen zu formulieren die dann automatisch in Map-Reduce-Jobs übersetzt werden. Neuere Ansätze wie Cloudera Impala oder Presto kommen ohne eine Übersetzung in Map Reduce Jobs aus und bieten damit deutlich bessere Eigenschaften für interaktive Anwendungen.

Die Master/Bachelor-Arbeit untersucht existierende Ansätze hinsichtlich ihres Funktionsumfangs und ihrer Eigenschaften. Eine kleine Auswahl von Ansätzen soll auf einem Cluster installiert und hinsichtlich ihrer Performance mit Hilfe eines größeren Benchmarks verglichen werden.

Grundlage für die Arbeit sind gute SQL-Kenntnisse. Grundkenntnisse im Umgang mit Linux wären wünschenswert.

References:

http://blog.matthewrathbone.com/2014/06/08/sql-engines-for-hadoop.html

Counterpart