Performance Optimierung eines Big Data Analytic Systems

Jeden Tag werden weltweit ca. 500 Millionen Tweets versendet. Die zu verarbeitenden Daten sind zahlreich und werden stetig von Twitter über ein Stream-API als Datenstrom zur Verfügung gestellt. Die im Tweet enthaltenen geografischen Informationen über die Nutzenden zum Zeitpunkt des Versandes sind wertvolle Informationen und bieten Ansätze für zahlreiche Analysen. Seit vier Jahren werden deshalb am ScaDS.AI die empfangenen Europa-Tweets in einer Accumulo-Datenbank gespeichert (je Tweet die Attribute Bildschirmname, Text, geographischer Längen- und Breitengrad).

Die Aufgabe der Bachelorarbeit besteht in der systematischen Untersuchung der vorhandenen Daten und der Generierung von verwertbaren Informationen und Zusammenhängen für ein breites Besucherspektrum unseres Ausstellungsbereiches. Die Analysergebnisse sollen den Besucher hinsichtlich der Möglichkeiten der Auswertung von Twitter-Daten sensibilisieren (z.B. Herkunft der Daten). Methodisch können z.B. Häufigkeitsauszählungen und quantitative Inhaltsanalysen auf den georeferenzierten Tweets durchgeführt werden. Der Datenzugriff erfolgt über RESTful API oder anderweitig. Es wird erwartet, dass die Ergebnisse in einem Dashboard visualisiert werden.

Counterpart