Leistungsvergleich von Large Scale Deep Learning Verfahren

Hintergrund

Deep Learning (DL) ist ein Teil des maschinellen Lernens, welcher auf einer hierarchischen Komposition von beliebigen mathematischen Funktionen zur Abbildung von beliebigen Eingangs- auf Ausgangsdaten beruht. Eine mögliche Anwendung dieses Ansatzes stellt die Mustererkennung dar. Muster können auf verschiedenste Weise repräsentiert werden, beispielsweise als Vektor von
Intensitätswerten oder durch komplexe Basisfunktionen. Convolutional Neural Networks (CNN) bedienen sich dieser Idee, in dem eine Hierarchie aus verschiedenen Faltungs- und Subsampling
Operatoren erstellt wird, welche u.a. mittels Back-Propagation Algorithmus angelernt werden. Der Erfolg von DL Architekturen im Allgemeinen und CNNs im Speziellen lässt sich auf die große Zahl an vernetzten Neuronen innerhalb der einzelnen Schichten zurückführen, welche somit komplexeste Zusammenhänge abbilden können. Diese resultierende große Zahl Freiheitsgraden in
den zu Grunde liegenden mathematischen Modellen führt zu einer hohen Flexibilität und Generalisierungsfähigkeit, was die sehr guten Leistungen dieser Verfahren begründet. Daraus folgt
jedoch auch ein großer Ressourcenbedarf bei der Bestimmung der Modellparameter, was verteilte Lernverfahren notwendig macht (“large-scale learning”) und Einfluss auf die Leistung der
Verfahren nimmt.

Aufgabenstellung

In dieser Arbeit sollen repräsentative Modellprobleme aus den Bereichen Bild- und Textverarbeitung diskutiert sowie in einem seriellen (Pylearn2) und zwei verteilten Deep Learning Frameworks abgebildet werden. Hierauf aufbauend soll eine Untersuchung der Genauigkeit der Lernverfahren erfolgen sowie deren Leistung auf unterschiedlichen Architekturen (GPU, CPU Cluster) untersucht werden. An Hand dieser Analysen sollen etwaige limitierende Faktoren aufgezeigt- sowie mögliche Lösungen diskutiert werden.

Schwerpunkte der Arbeit:
1. Literaturrecherche zu Deep Learning Architekturen sowie large-scale learning
2. Implementation der Modellprobleme in zwei verteilten DL Frameworks sowie in Pylearn2
3. Einbeziehung statistischer Methoden zur Evaluation der Genauigkeit Verfahren
4. Analyse der Performance auf unterschiedlichen Clusterarchitekturen (CPU, GPU)

Counterpart