Dieser Kurs von Prof. Michael Färber und Prof. Simon Razniewski vermittelt ein praxisorientiertes und fundiertes Verständnis großer Sprachmodelle, die moderne Systeme zur Verarbeitung natürlicher Sprache antreiben. Die Studierenden setzen sich mit der Architektur, den Trainingsmethoden, den Fähigkeiten und den ethischen Implikationen großer Sprachmodelle auseinander. Der Kurs verbindet theoretisches Wissen mit praktischen Erfahrungen, um den Studierenden die notwendigen Fähigkeiten zur Entwicklung, Analyse und Anwendung großer Sprachmodelle in verschiedenen Kontexten zu vermitteln.

Am Ende dieses Kurses sind die Studierenden in der Lage:

1. die Architektur und die Schlüsselkomponenten großer Sprachmodelle zu verstehen;
2. die Trainingsprozesse zu analysieren, einschließlich Datenerfassung, Modelloptimierung und Feinabstimmung;
3. die Leistung und Grenzen von LLMs bei verschiedenen NLP-Aufgaben zu bewerten;
4. LLMs auf reale Probleme anzuwenden, wie beispielsweise Textgenerierung, Zusammenfassung und Übersetzung;
5. die ethischen Überlegungen und gesellschaftlichen Auswirkungen des Einsatzes von LLMs zu diskutieren.

Voraussetzungen

• Einführung in das maschinelle Lernen oder gleichwertige Kenntnisse
• Grundlegendes Verständnis neuronaler Netze
• Programmiererfahrung in Python

Mögliche Themen für das Komplexpraktikum usw.

0: Entwicklung von LLM-basierten Methoden zur Textvereinfachung

Ziel dieses Projekts ist es, fortschrittliche große Sprachmodelle, wie sie beispielsweise bei ChatGPT zum Einsatz kommen, zu nutzen, um Website-Inhalte von ScaDS.AI und anderen Websites in einfache oder vereinfachte Sprache zu übersetzen (siehe Projekt „Klartext“). Durch die Bereitstellung dieser Inhalte zusätzlich zu den bestehenden deutschen und englischen Versionen zielt das Projekt darauf ab, Sprachbarrieren abzubauen und die Beteiligung der Öffentlichkeit zu fördern. Dieses Projekt leistet einen wesentlichen Beitrag zur Inklusion, indem es einem breiteren Publikum, einschließlich Laien und Personen mit unterschiedlichen Sprachkenntnissen, die Teilnahme an wissenschaftlichen und kulturellen Diskussionen ermöglicht.

Was sind die Aufgaben?

• Entwicklung und Umsetzung von LLM-basierten Methoden zur Textvereinfachung.
• Bewertung dieser Methoden für Anwendungsfälle wie die Übersetzung von Texten in einfache/verständliche Sprache.

Welche Voraussetzungen müssen Sie mitbringen?

• Starkes Interesse an der Forschung im Bereich der natürlichen Sprachverarbeitung, insbesondere an LLMs.
• Gute Programmierkenntnisse.

1: Konzeption und Durchführung einer groß angelegten Nutzerstudie zur Vereinfachung wissenschaftlicher Texte

Bei diesem Thema geht es darum, wissenschaftliche Texte verständlicher zu machen. Das Ziel ist es, wissenschaftliche Artikel automatisch umzuschreiben oder zu übersetzen, damit sie nicht nur für Fachexperten, sondern auch für Forscher aus anderen Disziplinen und interessierte Laien verständlich werden. Diese Aufgabe umfasst die Planung und Durchführung einer Nutzerstudie. Es ist eine einzigartige Gelegenheit, aktiv an einem Projekt mitzuwirken, das die Art und Weise, wie wir mit wissenschaftlichen Erkenntnissen umgehen, grundlegend verändern könnte. Sie sammeln Erfahrungen in Forschungsmethodik und der Konzeption von Nutzerstudien und tragen so direkt dazu bei, Wissenschaft einem breiteren Publikum zugänglich zu machen.

Was sind die Aufgaben?

• Konzeption einer umfassenden Nutzerstudie (z. B. Auswahl und Vorverarbeitung der wissenschaftlichen Texte für die Teilnehmer).
• Erfassung und Analyse der Antworten der Teilnehmer (z. B. wer wissenschaftliche Texte in eigenen Worten zusammengefasst oder vereinfacht hat), damit die Antworten als „Ground Truth“ („perfekte Texte“) für KI-Modelle verwendet werden können.
• Falls du über Programmiererfahrung verfügst: Implementierung generativer KI-Modelle (z. B. auf GPT-Basis), die wissenschaftliche Texte automatisch zusammenfassen oder vereinfachen können.

Welche Voraussetzungen musst du mitbringen?

• Eine Leidenschaft dafür, wissenschaftliches Wissen einem breiteren Publikum zugänglich zu machen.
• Starkes Interesse an Forschung, der Konzeption von Nutzerstudien und der Datenanalyse.
• Gute organisatorische Fähigkeiten, um eine große Nutzerstudie (finanziert durch den Lehrstuhl) effektiv zu konzipieren und zu leiten.
• Grundlegende Programmierkenntnisse.

2: Börsenprognosen durch Deep Learning

Im Mittelpunkt dieses Themas steht eine Zusammenarbeit mit Orca Capital, einem auf Finanzmärkte spezialisierten Unternehmen. Gemeinsam mit Orca Capital hat ein Münchner Start-up ein laufendes System entwickelt, das die Aktienkurse bestimmter Unternehmen auf der Grundlage eines kontinuierlichen Nachrichtenstroms – wie beispielsweise Kursanstiege/-rückgänge und Volatilität – prognostiziert. Dieses System nutzt Methoden des Deep Learning und der Verarbeitung natürlicher Sprache, darunter vortrainierte Sprachmodelle. Die Studierenden werden daran arbeiten, das System unter Verwendung realer Finanzdaten und mithilfe von Branchenkontakten weiterzuentwickeln und zu verbessern. Mögliche Verbesserungen umfassen die Anwendung der neuesten Sprachmodelle (LLMs) und Techniken, um die Prognosen besser erklärbar zu machen (erklärbare KI).

Was sind die Aufgaben?

• Entwicklung von Erweiterungen und Verbesserungen des Systems unter Verwendung der neuesten Erkenntnisse aus den Bereichen Deep Learning und Verarbeitung natürlicher Sprache.
• Bewertung der Systemleistung und Verbesserung der Interpretierbarkeit der Prognosen durch Integration von Methoden aus dem Bereich der erklärbaren KI.

Welche Voraussetzungen müssen Sie mitbringen?

• Gute Programmierkenntnisse in Python.

3: Durch große Sprachmodelle erweitertes Graph-Message-Passing-Netzwerk zur Vorhersage von Verknüpfungen

Bei diesem Thema geht es um die Weiterentwicklung KI-basierter Empfehlungsmethoden durch die Integration großer Sprachmodelle und Graph-Message-Passing-Netzwerke. Das Projekt zielt darauf ab, die Art und Weise zu revolutionieren, wie wir Verknüpfungen innerhalb akademischer Zitationsnetzwerke vorhersagen und verstehen.

Was sind die Aufgaben?

• Implementierung und Testen von Algorithmen zur Vorhersage von Verknüpfungen, zur Erkennung von Communities, zur Klassifizierung von Knoten und möglicherweise zu weiteren Aufgaben des graph-überwachten Lernens.
• Untersuchung der Kompromisse zwischen der Nutzung textueller und struktureller Merkmale in Algorithmen zur Verbindungsvorhersage sowie Entwicklung von Methoden zur effizienten Kombination dieser Merkmale.

Welche Voraussetzungen müssen Sie mitbringen?

• Ein starkes Interesse an maschinellem Lernen, natürlicher Sprachverarbeitung oder Graphentheorie.
• Programmierkenntnisse, vorzugsweise in Python, mit Erfahrung in PyTorch oder TensorFlow.
• Die Bereitschaft, sich mit modernster Forschung im Bereich der Verbindungsvorhersage und des Text-Mining auseinanderzusetzen.

4: Erweiterung des RDF-Wissensgraphen SemOpenAlex.org

Bei diesem Thema geht es um die Arbeit an SemOpenAlex, einem umfassenden RDF-Wissensgraphen, der über 26 Milliarden Tripel zu wissenschaftlichen Publikationen, Autoren, Institutionen, Zeitschriften und vielem mehr umfasst. Diese Open-Access-Initiative stellt Daten über RDF-Dump-Dateien, einen SPARQL-Endpunkt und die Linked-Open-Data-Cloud zur Verfügung und verbessert so die Sichtbarkeit und Zugänglichkeit wissenschaftlicher Forschung.

Was sind die Aufgaben?

• SemOpenAlex auf dem neuesten Stand halten, indem das Schema entsprechend den Änderungen in der OpenAlex-Datenbank aktualisiert und regelmäßige Updates der RDF-Datenbank durchgeführt werden.
• Erweiterung von SemOpenAlex, z. B. durch die Einführung einer Autorennamensdisambiguierung, die Integration von Darstellungen von Code-Repositorys wie GitHub und die Verknüpfung mit anderen Datenbanken und Wissensgraphen wie LinkedPaperWithCode.com, Wikidata und DBLP.

Welche Voraussetzungen müssen Sie mitbringen?

• Grundlegendes Verständnis von RDF und Begeisterung für das Semantic Web und Open Data.
• Programmierkenntnisse in Python, die für verschiedene Aufgaben, darunter Datenbankpflege und -entwicklung, unerlässlich sind.

5: Kombination von RDF-Wissensgraphen mit Deep Learning für fortschrittliche Empfehlungssysteme

Dieses Projekt zielt darauf ab, AutoRDF2GML zu erweitern – ein Open-Source-Framework, das für die Konvertierung von RDF-Daten in spezialisierte Darstellungen bekannt ist, die sich ideal für modernste Aufgaben im Bereich des Graph Machine Learning (GML) eignen, darunter auch Graph-Neural-Netzwerke (GNNs). Durch die automatische Extraktion sowohl inhaltsbasierter als auch topologiebasierter Merkmale aus RDF-Wissensgraphen vereinfacht AutoRDF2GML den Prozess für RDF- und SPARQL-Neulinge und macht Semantic-Web-Daten für praktische Anwendungen zugänglicher und nutzbarer.

Was sind die Aufgaben?

• Anpassung von AutoRDF2GML zur Verarbeitung eines breiteren Spektrums von RDF-Wissensgraphen sowie zur flexiblen Integration von Datenquellen aus der Linked-Open-Data-Cloud.
• Die Benutzeroberfläche von AutoRDF2GML neu gestalten, um sie intuitiver und benutzerfreundlicher zu machen und sowohl neuen als auch erfahrenen Nutzern eine nahtlose Erfahrung zu ermöglichen.
• Die Automatisierungsfähigkeiten des Frameworks ausbauen, um die Einrichtungs- und Ausführungsprozesse zu vereinfachen und die effiziente Erstellung und Nutzung von Datensätzen für das maschinelle Lernen mit Graphen zu erleichtern.

Welche Voraussetzungen müssen Sie mitbringen?

• Fundierte Kenntnisse in Python sowie ein grundlegendes Verständnis von RDF, SPARQL und Konzepten des maschinellen Lernens mit Graphen.
• Ein ausgeprägtes Interesse an der Schnittstelle zwischen Semantic-Web-Technologien und Deep Learning.

Vorlesung an der Universität Leipzig im Masterstudiengang Data Science

Koordinator: Prof. Dr. E. Rahm (Universität Leipzig)

Ziel der Vorlesungsreihe war es, den Teilnehmern einen Überblick über aktuelle Anforderungen und Lösungen im Bereich der Methoden, Technologien und Anwendungen der Künstlichen Intelligenz und von Big Data zu vermitteln. Der Schwerpunkt lag auf den Forschungsbereichen von ScaDS.AI Dresden/Leipzig. Zu den Referenten gehörten Projektleiter, die aktiv am ScaDS.AI Dresden/Leipzig beteiligt sind. Die Vorlesung wurde im Rahmen des Moduls „Aktuelle Trends in der Data Science“ (5 LP) des neuen Studiengangs Data Science angeboten. Die Vorlesungssprachen waren Deutsch und Englisch. Für den erfolgreichen Abschluss des Moduls mussten die Studierenden die Videovorträge ansehen sowie eine praktische Aufgabe in Zweierteams erfolgreich lösen. Die Ergebnisse der praktischen Aufgaben wurden von den Studierenden in den letzten beiden Videovorträgen präsentiert. Darüber hinaus stand die Teilnahme an der Vorlesungsreihe auch anderen Studierenden, Forschenden und Interessierten offen.

Aufgrund der Corona-Situation fand die Vorlesung in Form von Videopräsentationen statt. Die Vorlesungsunterlagen konnten über die Online-Plattform Moodle eingesehen werden.

Zeitplan

Gemeinsame Vorlesungsreihe an der TU Dresden und der Universität Leipzig

Koordinatoren: Prof. Dr. S. Gumhold (TU Dresden), Prof. Dr. E. Rahm (Universität Leipzig)

Ziel der Vorlesungsreihe war es, den Teilnehmern einen Überblick über aktuelle Anforderungen und Lösungen für Big-Data-Technologien und -Anwendungen zu vermitteln. Der Schwerpunkt lag auf den Forschungsbereichen des Big-Data-Kompetenzzentrums ScaDS Dresden/Leipzig. Als Referenten traten Professoren auf, die aktiv am ScaDS Dresden/Leipzig mitwirken.

Die Vorlesung fand in Blöcken zu je zwei Vorlesungen (jeweils ca. 1 Stunde) abwechselnd an der Universität Leipzig (Hörsaal 8) und an der TU Dresden (Willersbau A317) statt. Alle Vorlesungen wurden am selben Tag per Video an den jeweils anderen Standort übertragen und konnten im dafür vorgesehenen Hörsaal verfolgt werden.

Die Vorlesungsreihe richtete sich an Studierende der Bachelor- und Masterstudiengänge der Informatik, Doktoranden sowie alle Interessierten. Die Anrechnungsmodalitäten für Studierende wurden standortspezifisch entsprechend den Rahmenbedingungen der jeweiligen Studiengänge geregelt.

Zeitplan

Der zuerst genannte Veranstaltungsort bietet einen Videostream an. Da die Vorlesung auf Deutsch gehalten wird, ist auch der Seminarplan auf Deutsch verfasst.