Computer vision approaches for quantitative analysis of microscopy images

Abstract

Mikroskopaufnahmen kompletter Organismen und ihrer Entwicklung ermöglichen die Erforschung ganzer Organismen oder Systeme und erzeugen Datensätze im Terabyte-Bereich. Solche großen Datensätze erfordern die Entwicklung von Computer-Vision-Tools, um Aufgaben wie Erkennung, Segmentierung, Klassifizierung und Registrierung durchzuführen. Es ist wünschenswert, Computer-Vision-Tools zu entwickeln, die nur eine minimale Menge an manuell annotierten Trainingsdaten benötigen. Ich demonstriere derartige Anwendungen in drei Projekte. Zunächst stelle ich ein Tool zur automatischen Registrierung von Drosophila-Flügeln (verschiedener Spezies) unter Verwendung von Landmarkenerkennung vor, das für die Untersuchung der Funktionsweise von Enhancern eingesetzt wird. Ich vergleiche die Leistung eines Shape-Model-Ansatzes mit der eines kleinen neuronalen Netz bei der Verfügbarkeit von nur 20 Trainingsbeispiele. Beide Methoden schneiden gut ab und ermöglichen eine präzise Registrierung von Tausenden von Flügeln. Das zweite Projekt ist ein hochauflösendes Zellkernmodell des C. elegans, das aus einem nanometeraufgelösten Elektronenmikroskopiedatensatz einer ganzen Dauerlarve erstellt wird. Diese Arbeit ist der erste Atlas der Dauerdiapause von C. elegans, der jemals erstellt wurde, und enthüllt die Anzahl der Zellkerne in diesem Stadium. Schließlich stelle ich eine Bildanalysepipeline vor, an der ich zusammen mit Laura Breimann und anderen gearbeitet habe. Die Pipeline umfasst die Punkterkennung von Einzelmolekül-Fluoreszenz-In-situ-Hybridisierung (smFISH), die Segmentierung von Objekten und die Vorhersage des Embryonalstadiums. Mit diesen drei Beispielen demonstriere ich sowohl generische Ansätze zur computergestützten Modellierung von Modellorganismen als auch maßgeschneiderte Lösungen für spezifische Probleme und die Verschiebung des Feldes in Richtung Deep-Learning.

Microscopy images of entire organisms and their development allows research in whole organisms or systems, producing terabyte scale datasets. Such big datasets require the development of computer vision tools to perform tasks such as detection, segmentation, classification, and registration. It is desirable to develop computer vision tools that require minimal manually annotated training data. I demonstrate such applications in three projects. First, I present a tool for automatic Drosophila wing (of various species) registration using landmark detection, for its application in studying enhancer function. I compare the performance of a shape model technique to a small CNN requiring only 20 training examples. Both methods perform well, and enable precise registration of thousands of wings. The second project is a high resolution nucleus model of the C. elegans, constructed from a nanometer-resolved electron microscopy dataset of an entire dauer larva. The nucleus model is constructed using a classical dynamic programing approach as well as a CNN approach. The resulting model is accessible via a web-based (CATMAID) open source and open access resource for the community. I also developed a CATMAID plugin for the annotation of segmentation objects (here, nucleus identity). This work is the first atlas of the C. elegans dauer diapause ever created and unveils the number of nuclei at that stage. Lastly, I detail an image analysis pipeline I collaborated on with Laura Breimann and others. The pipeline involves single molecule fluorescence in situ hybridization (smFISH) spot detection, object segmentation, and embryo stage prediction. The pipeline is used to study the dynamics of X specific transcriptional repression by condensin in the C. elegans embryo. With these three examples, I demonstrate both generic approaches to computational modeling of model organisms, as well as bespoke solutions to specific problems, and the shift in the field towards deep learning.