Inhaltsadaptives Verständnis biomedizinischer Bilder

Projekttitel: Inhaltsadaptives Verständnis biomedizinischer Bilder

Projektdauer: 06/2020 – 10/2025

Forschungsbereich: Angewandte KI und Big Data, Biowissenschaften und Medizin

Biomedizinische Bilder enthalten umfangreiche Kontextinformationen darüber, welche Strukturen markiert wurden und in welcher räumlichen Beziehung diese Strukturen zueinander stehen. Allerdings handelt es sich bei biomedizinischen Bildern oft um große 3D-Volumen, die mittels Tomographie oder Lichtblattmikroskopie aufgenommen wurden. Dies verhindert den Einsatz von Standardverfahren der Bildverarbeitung. Die Frage, wie Informationen über Formen und deren gegenseitige räumliche Beziehungen aus solchen Bildern extrahiert und charakterisiert werden können, bleibt offen. In diesem Projekt bauen wir auf unseren früheren Arbeiten zur inhaltsadaptiven Bilddarstellung [1] auf, um mithilfe von Deep-Learning-Methoden ein inhaltsadaptives Verständnis von Formen und räumlichen Anordnungen in biomedizinischen Bildern zu ermöglichen. Dazu gehört auch die Visualisierung großer, verteilter Volumendaten für die visuelle Analyse und Validierung durch menschliche Beobachter.

Ziele

• Einführung der Adaptive Particle Representation (APR) [1] für End-to-End-Pipelines in der biomedizinischen Bildgebung.
• APR-native Bildverarbeitung und -visualisierung.
• Entwicklung einer neuartige Architektur für konvolutionelle neuronale Netze, die nativ mit APRs arbeitet.
• Interaktive (latenzarme) Visualisierung großer verteilter Volumendaten bei hohen Bildraten und in situ (d. h. ohne die Daten zu verschieben).
• Entwicklung einer skalierbaren Plattform für biomedizinische Bildgebungsstudien im Petabyte-Maßstab.

Problemstellung

Beim Verständnis räumlicher Strukturen in biomedizinischen Bildern gibt es im Wesentlichen zwei Probleme: Erstens sind die Bilddaten sehr groß (Hunderte von Gigabyte bis Terabyte für ein einzelnes Bild), was den Einsatz von Standard-Frameworks für maschinelles Lernen auf einer einzelnen GPU verhindert. Zweitens liegen die Informationen hauptsächlich in der räumlich-zeitlichen Dynamik des Signalintensitätsfeldes, da Morphologie und Textur häufig von der Optik der Bildgebungsgeräte bestimmt werden. Dieses Projekt liefert ein mathematisch bewiesenes Framework (Beweise für globale Optimalität, asymptotische Konvergenz, Fehlergrenzen und rechnerische Äquivalenz) zur Lösung dieser Fragestellungen und implementiert die Lösungen in praxisnaher und skalierbarer Software.

Praxisbeispiel

Derzeit nutzen wir die ersten Ergebnisse dieses Projekts im Rahmen einer Zusammenarbeit mit dem Wyss-Zentrum für Neurowissenschaften Genf, um eine 3D-Neurohistologie großer menschlicher Gehirnproben mit subzellulärer Auflösung zu ermöglichen (siehe Scholler et al., 2023).

Technologie

1. Adaptive Partikel-Darstellung von Bildern [1]
2. Mehrstufige/mehrskalige diskrete Faltungen
3. Deep Learning
4. Theorie der asymptotischen Funktionsnäherung
5. Verteilte parallele Berechnung
6. Blickwinkelabhängige Darstellungen des erkundbaren Volumens

Ausblick

In Zukunft wird das Projekt in zwei orthogonale Richtungen erweitert: Erstens untersuchen wir topologische Ansätze zur Charakterisierung von Formen in APRs von Bildern. Dies wird es uns ermöglichen, die natürlichen Invarianz-Eigenschaften biomedizinischer Bilder zu nutzen. Zweitens setzen wir die Technologie in Anwendungen ein, beispielsweise in der groß angelegten Neurohistologie oder beim High-Content-Wirkstoffscreening.

Publikationen

• J. Scholler, J. Jonsson, T. Jordá-Siquier, I. Gantar, L. Batti, B. Cheeseman, S. Pagès, I. F. Sbalzarini, C. M. Lamy. Efficient image analysis for large-scale next generation histopathology using pAPRica. bioRXiV, 10.1101/2023.01.27.525687v1, 2023.
• A. Gupta, P. Incardona, A. Brock, G. Reina, S. Frey, S. Gumhold, U. Günther, and I. F. Sbalzarini. Parallel compositing of volumetric depth images for interactive visualization of distributed volumes at high frame rates. In Proc. Eurographics Symposium on Parallel Graphics and Visualization (EGPGV), pages 25–35. The Eurographics Association, 2023. Best Paper Award.
• A. Gupta, U. Günther, P. Incardona, G. Reina, S. Frey, S. Gumhold, and I. F. Sbalzarini. Efficient raycasting of volumetric depth images for remote visualization of large volumes at high frame rates. In Proc. 16th IEEE Pacific Visualization Symposium (PacificVis), pages 61–70, Seoul, Korea, 2023. IEEE.
• J. Jonsson, B. L. Cheeseman, S. Maddu, K. Gonciarz, and I. F. Sbalzarini. Parallel discrete convolutions on adaptive particle representations of images. IEEE Trans. Image Process., 31:4197–4212, 2022.

Team

Teamleitung

• Prof. Dr. Ivo F. Sbalzarini

Teammitglieder

• Roua Rouatbi
• Aryaman Gupta
• Joel Jonsson

Partner

• Zentrum für Systembiologie Dresden
• Wyss-Zentrum für Neurowissenschaften Genf
• Universität Genf, Universität Stuttgart
• Universität Oxford

[1] B. L. Cheeseman, U. Günther, K. Gonciarz, M. Susik, and I. F. Sbalzarini. Adaptive particle representation of fluorescence microscopy images. Nat. Commun., 9:5160, 2018.