Erhöhung der Bildschärfe in Mikroskopie-Aufnahmen mittels künstlicher Intelligenz (EBiMA)

Im Projekt EBiMA (Erhöhung der Bildschärfe in Mikroskopie-Aufnahmen mittels künstlicher Intelligenz) entwickeln die Projektpartner Hochschule Aalen, Zeiss Microscopy, PVA TePla Analytical Systems und Robert Bosch ein Verfahren, mit dem die Unschärfe bei Mikroskopieaufnahmen nachträglich korrigiert wird. Das Verfahren soll in industrielle Anwendungen einbettbar sein und entweder die Bildschärfe verbessern oder die Aufnahmegeschwindigkeit erhöhen. Projektleiter ist Prof. Dr. Ricardo Büttner.

Herausforderung

Intelligente Bilderkennungsverfahren sind in der Technik unverzichtbar. Dabei wurden zwar deutliche Fortschritte bei der Bildqualität erzielt, in der Mikroskopie ist die Bildunschärfe aber immer noch ein großes Problem. Verbesserungen sind selbst mit hohem technischem oder manuellem Aufwand nicht erreichbar. Für die Unschärfe gibt es zwei Hauptursachen: die Fokus- und die Bewegungs- oder Erschütterungsunschärfe. Die Fokusunschärfe tritt meist bei großen Bildern auf, die aus tausenden Einzelaufnahmen zusammengesetzt werden. Diese Unschärfe lässt sich auch durch Hard- und Software-Autofokusmechanismen nicht vollständig beheben. Der Effekt der Bewegungs- oder Erschütterungsunschärfe tritt bei sehr hohen Vergrößerungen (ab ca. 200fach) auf und lässt sich auch durch spezielle schwingungsgedämpfte Tische nicht vollständig auffangen. Mit den existierenden Verfahren zur Verbesserung der Bildschärfe auf Basis mathematischer Operationen oder maschinellem Lernen kann bisher keine ausreichende Bildqualität erreicht werden.

Ziele und Vorgehen

Im Projekt EBiMA entwickeln die Partner ein automatisiertes, schnelles Verfahren zur nachträglichen Verbesserung der Bildschärfe und zur Rauschreduktion in Mikroskopieaufnahmen. Das Verfahren soll in industrielle Anwendungen einbettbar sein und die Bildqualität beim Mikroskopieren steigern, ohne dass Neuaufnahmen nötig sind. Um dies zu erreichen, werden zwei Convolutional Neural Networks (CNN) eingesetzt: mit einem soll die Fokusunschärfe, mit dem anderen die Erschütterungsunschärfe korrigiert werden. CNN sind künstliche neuronale Netze, die sich besonders zum Verarbeiten von Sprach- oder Bilddaten eignen. Die Ergebnisse der beiden Korrekturprozesse werden dann zu einem geschärften Endergebnis zusammengeführt. Weil CNN zum Einlernen eine sehr große Datenmenge benötigen, werden die Netze mit allgemein zugänglichen scharfen und unscharfen Bildpaaren vortrainiert (Transfer Learning). Im Projekt werden dazu mehrere reale und experimentell erhobene Bildunschärfe-Datensätze aus der Mikroskopie verwendet.

Innovationen und Perspektiven

Das im Projekt EBiMA entwickelte Verfahren ist durch die eingesetzten Methoden CNN und Transfer Learning sehr innovativ. Aufgrund des Verfahrens können Bilder entweder schneller bei gleichbleibender Qualität aufgenommen werden, oder die Bildschärfe ist bei gleicher Aufnahmedauer höher. Im Projekt wird das Verfahren im Rahmen der Analyse von Stahl-Wärmebehandlungsgefügen, der additiven Fertigung und bei Li-Ionen-Batterien umfassend geprüft; es ist aber nicht auf die Mikroskopie beschränkt, sondern kann auf viele kamerabasierte Anwendungen übertragen werden, beispielsweise das autonome Fahren. Nach Einschätzung der Projektpartner bietet das Verfahren großes Potenzial zur Integration in Mikroskopiesoftware; die prototypenhafte Integration in die Software des Industriepartners Zeiss ist vorgesehen. Die Projektergebnisse werden über wissenschaftliche Fachzeitschriften und Fachkonferenzen veröffentlicht. Das Verfahren könnte auch in Normen zur Qualitätskontrolle aufgenommen werden.