Hyperspectral Image Classification of Satellite Images Using Compressed Neural Networks
Mathematisch-Naturwissenschaftliche Fakultät
Convolutional Neural Networks haben sich in den letzten Jahren als erfolgreiches Mittel zur hyperspektralen Klassifizierung von Bildern herausgestellt. Der größere Spektralbereich und die höhere Präzision hyperspektraler Bilder verglichen mit RGB-Bildern sind z.B. für Satellitenbilder nützlich. Allerdings stellt die große Anzahl an Bildkanälen, die oftmals redundant sind, eine Herausforderung für eine performante Bildklassifizierung dar. Zusätzlich zeigt das Hughes-Phänomen, dass die Anzahl an Bildkanälen nicht notwendigerweise eine höhere Genauigkeit zufolge hat, nachdem eine bestimmte Anzahl erreicht ist. Darüber hinaus ist das Erfassen von Ground-Truth-Daten aufwendig und komplex, sodass die verfügbaren Trainingdaten oft nicht groß genug sind (Fluch der Dimensionalität). Deshalb beschäftigt sich diese Arbeit mit Methoden zur Dimensionsreduktion und deren Auswirkung auf verschiedenen Ebenen.
Auf der einen Seite gibt es Verfahren zur Merkmalsauswahl und -extraktion, um nur die wichtigsten Bildkanäle auszuwählen oder die existierenden so zu transformieren, dass weniger übrig bleiben. Auf der anderen Seite können die neuronalen Netzwerke, die die Bildklassifizierung durchführen, mit Verfahren wie Parameter Pruning und Post-Training Quantization komprimiert werden, mit denen sich die Arbeit befasst. Im Anschluss werden beide Ebenen der Kompression kombiniert, um den Tradeoff zwischen komprimierten Bildkanälen und einem komprimierten neuronalen Netzwerk hinsichtlich relevanter Parameter wie RAM-/VRAM-Verbrauch und Inferenzzeit zu analysieren. Zum Schluss werden Saliency Maps und Activation Maps als Visualisierungstechniken verwendet, um die semantischen Auswirkungen der Kompressionen auf das neuronale Netzwerk nachzuvollziehen zu versuchen. Convolutional neural networks have proven to be a successful instrument for hyperspectral image classification tasks in recent years. These images are useful due to their higher spectral range and precision compared to RGB images, e.g., for satellite imagery. However, the large number of image bands, which are often redundant, poses a challenge to performant image classification. Additionally, the Hughes phenomenon shows that many image bands do not necessarily result in a higher accuracy after a certain number of bands is reached. On top of that, the task of acquiring ground truth data is expensive and complex, so the training datasets available are often not sufficiently large (curse of dimensionality). Therefore, this thesis covers dimensionality reduction techniques and their impact on multiple levels.
On the one hand, there are feature selection and feature extraction techniques to only choose the most meaningful image bands or transform existing bands into fewer image bands in total. On the other hand, the neural networks that perform the image classification can be compressed with strategies like parameter pruning and post-training quantization, both of which the thesis addresses. Finally, both levels of compression are combined to analyze the trade-off between compressed image channels and a compressed neural network with respect to appropriate parameters like RAM usage, VRAM usage and inference time. In the end, saliency maps and activation maps are used as neural network visualization techniques to try to understand the semantic implications of the compressions.
Dateien zu dieser Publikation
Anmerkungen
You can find the implementation in my GitHub repository if you are interested: https://github.com/daniel-rychlewski/hsi-toolbox