Skalierung von transformatorischen neuronalen Netzen auf Gigapixel-Bilder

Projekttitel: Skalierung von transformatorischen neuronalen Netzen auf Gigapixel-Bilder

Projektdauer: 5 Jahre

Forschungsbereich: Angewandte KI und Big Data

Unser Projekt konzentriert sich auf die Entwicklung von Transformer-Neuralnetzwerken für die Klassifizierung von Gigapixel-Bildern. Wir stellen uns dabei der Herausforderung, großformatige pathologische Bilder mithilfe fortschrittlicher KI-Techniken zu verarbeiten. Pathologische Bilder haben eine Größe im Gigapixel-Bereich, wodurch sie für Standardarchitekturen neuronaler Netze ungeeignet sind. In jüngster Zeit haben Transformer-Neuralnetzwerke bei der Bildverarbeitung Spitzenleistungen erzielt. Daher wollen wir neue Transformer-basierte Architekturen für die Klassifizierung von Gigapixel-Bildern entwickeln und diese mit bestehenden Methoden vergleichen. Wir stehen vor technischen Herausforderungen bei der Konzeption einer Architektur, die Bilder unterschiedlicher Größe verarbeiten kann und sich effizient auf großen Datensätzen trainieren lässt. Darüber hinaus muss die Architektur Gigapixel-Bilder direkt verarbeiten, ohne sie in Kacheln zu unterteilen oder ein gleitendes Fenster zu verwenden. Unser Ziel ist es, eine End-to-End-Lösung zu entwickeln, die ganze Objektträgerbilder verarbeitet und Klassifizierungen ausgibt. Zudem werden wir die Erklärbarkeit von Transformer-Modellen untersuchen und sie mit anderen Architekturen vergleichen.

Ziele

• Entwicklung von Transformer-Neuralnetzwerken zur Analyse von gigapixelgroßen Bildern histopathologischer Präparate verschiedener Krebsarten
• Anwendung der verbesserten Methode zur direkten Vorhersage klinischer Biomarker und zur Krebsklassifizierung anhand histopathologischer Bilder
• Untersuchung der Erklärbarkeit der Transformer-Modelle und Vergleich mit anderen Architekturen

Problemstellung

Derzeit fehlen in den Arbeitsabläufen der computergestützten Pathologie durchgängige Lösungen: Große histopathologische Objektträgerbilder müssen in einzelne Bereiche unterteilt und stückweise analysiert werden. Dieser Prozess führt zu Informationsverlusten. Zudem schränkt das Fehlen eines übergreifenden Kontexts in den einzelnen Bereichen die Klassifizierungsleistung ein. Darüber hinaus kann die Optimierung der Unterteilungsstrategie eine Herausforderung darstellen.

Technologie

In diesem Projekt werden wir transformatorische neuronale Netze für Gigapixel-Bilder entwickeln und anpassen, um die Einschränkungen in der computergestützten Pathologie zu überwinden. Der Vorteil dieses Ansatzes besteht darin, dass das gesamte Objektträgerbild auf einmal verarbeitet wird, wodurch eine direkte Klassifizierung ohne die Notwendigkeit einer Aufteilung in einzelne Bereiche ermöglicht wird.

Ausblick

Insgesamt wird unsere neuartige Analysemethode für Gigapixel-Bilder die Analyse und Klassifizierung großer mikroskopischer Bilder als Ganzes ermöglichen. Darüber hinaus lässt sich unser transformatorisches neuronales Netzwerk zur Analyse verschiedener Krebsarten und relevanter Biomarker einsetzen.

Publikationen

• El Nahhas, O.S.M., Loeffler, C.M.L., Carrero, Z.I. et al. Regression-based Deep-Learning predicts molecular biomarkers from pathology slides. Nat Commun 15, 1253 (2024). https://doi.org/10.1038/s41467-024-45589-1
• Tayebi Arasteh, S., Misera, L., Kather, J.N. et al. Enhancing diagnostic deep learning via self-supervised pretraining on large-scale, unlabeled non-medical images. Eur Radiol Exp 8, 10 (2024). https://doi.org/10.1186/s41747-023-00411-3

• Foersch, S., Glasner, C., Woerl, AC. et al. Multistain deep learning for prediction of prognosis and therapy response in colorectal cancer. Nat Med 29, 430–439 (2023). https://doi.org/10.1038/s41591-022-02134-1

• Saldanha, O.L., Quirke, P., West, N.P. et al. Swarm learning for decentralized artificial intelligence in cancer histopathology. Nat Med 28, 1232–1239 (2022). https://doi.org/10.1038/s41591-022-01768-5

• Kather, J.N., Pearson, A.T., Halama, N. et al. Deep learning can predict microsatellite instability directly from histology in gastrointestinal cancer. Nat Med 25, 1054–1056 (2019). https://doi.org/10.1038/s41591-019-0462-y

• Kather JN, Krisam J, Charoentong P, Luedde T, Herpel E, Weis C-A, et al. (2019) Predicting survival from colorectal cancer histology slides using deep learning: A retrospective multicenter study. PLoS Med 16(1): e1002730. https://doi.org/10.1371/journal.pmed.1002730

• Kather, J.N., Heij, L.R., Grabsch, H.I. et al. Pan-cancer image-based detection of clinically actionable genetic alterations. Nat Cancer 1, 789–799 (2020). https://doi.org/10.1038/s43018-020-0087-6

Team

Teamleitung

• Prof. Dr. Jakob Nikolas Kather (TU Dresden)

Teammitglieder

• Omar El Nahhas, MSc
• Marco Gustav, MSc

Partner

• Else Kröner Fresenius Center (EKFZ) for Digital Health
• Universitätsklinikum Dresden Carl Gustav Carus
• Technische Universität Dresden (TUD)