Chris Liebold
Biodiversität ist im stetigen Wandel. Globalisierung, klimatische Veränderungen wie auch Landschaftsbau stellen kontinuierliche Eingriffe in unser natürliches Ökosystem dar. Sinkende Populationszahlen von auf dem Gebiet der Bundesrepublik Deutschland heimischen Pflanzenarten können dadurch ebenso beobachtet werden wie die Einwanderung und Ansiedlung neuer Pflanzenarten.
Für Biodiversitätsstudien, taxonomische und ökologische Forschung, und nicht zuletzt aus Naturschutzgründen ist es daher unerlässlich, Pflanzenarten schnell und sicher identifizieren zu können. Das Verwenden herkömmlicher Bestimmungshilfen ist für Laien komplex und fehleranfällig und selbst für Experten zeitintensiv. Taxonomen und Ökologen fordern daher effizientere Methoden zur Artenbestimmung [1]. Auch interessierte Laien könnten derartige Methoden nutzen und so zur Erfassung und Beobachtung des Artenreichtums im Rahmen von Citizen Science Projekten beitragen [2].
Im Rahmen des Forschungsprojektes Flora Incognita wird eine solche effiziente und vor allem zuverlässige Methode zur Artenbestimmung entwickelt. Dafür wird die Analyse multimodaler Daten in einen interaktiven Prozess eingebettet, die den Nutzer zuverlässig und didaktisch informativ durch die Bestimmung einer unbekannten Pflanze führt. Bisher benötigte Nachschlagewerke wie Bestimmungsbücher und Atlasbände können so durch eine auf handelsüblichen mobilen Endgeräten ausführbare App ersetzt werden, die auf den Ergebnissen des Forschungsprojektes aufbaut. Abbildung 1 stellt den interaktiven Prozess als Überblick dar.
Für die Analyse der multimodalen Daten kommen modernste Methoden des Maschinellen Lernens zum Einsatz. Ein von der zu identifizierenden Pflanze gemachtes Kamerabild wird anhand eines Neuronalen Netzwerkes klassifiziert. Dafür wird eine maschinell optimierte Netzwerkarchitektur mit 88.9 Millionen Parametern verwendet, die mittels „Deep Learning“ auf einem extrem umfangreichen Datensatz von aktuell 780.000 Pflanzenbildern trainiert wurde. Um den negativen Einfluss von Ungleichverteilung der Bilder über die Pflanzenarten hinweg entgegenzusteuern, werden taxonomische Informationen um höhere Gruppen wie Gattungen und Familien einer Pflanzenart während des Trainings einbezogen. Um gezielt Bilder von bislang wenig repräsentierten Pflanzenarten zu erhalten, wurde die App Flora Capture entwickelt. Mit dieser App (beziehbar für iOS- und Android-basierte Endgeräte über nebenstehenden QRCode) kann eine Sammlung von botanischen Beobachtungen angelegt und automatisch auf einen Server an der TU Ilmenau synchronisiert werden. Die Nutzer erhalten gleichzeitig Feedback über die identifizierten Pflanzenarten ihrer Sammlung. Bereits heute unterstützt eine stetig wachsende Zahl interessierter Naturkundler das Forscherteam durch die Aufnahme qualitativ hochwertiger Bilder aus definierten Perspektiven und deren Übermittlung samt Standortdaten an den Projektserver. Ursprünglich mit dem Projektziel, die Flora Thüringens zu erfassen, haben mittlerweile Nutzer aus ganz Deutschland über 5000 Beobachtungen beigetragen (vgl. Abbildung 2). Die bisher gesammelten Daten konnten bereits erfolgreich für wissenschaftliche Untersuchungen verwendet werden [3, 4].
Der Standort jeder Beobachtung wird mit Kartenmaterial hinsichtlich der ökologischen, geografischen und klimatologischen Beschaffenheit hin untersucht und ebenfalls für die automatische Erkennung verwendet. Ebenso wird das aktuelle Datum im Kontext von regional spezifischen Beobachtungszeiträumen und wetterabhängigen Blühperioden modelliert und mit einbezogen [5]. Ein Wahrscheinlichkeitsmodell berechnet dann aus Datum und Standortfaktoren wie Bodenbeschaffenheit, Hanglage und Durchschnittstemperatur die wahrscheinlich am aktuellen Standort natürlich vorkommenden Pflanzenarten und fusioniert die Daten mit dem Ergebnis der Bilderkennung. Abbildung 3 zeigt einen Überblick über die Datenanalyse.
Allein mit Hilfe des optimierten Bilderkennungsverfahrens wird aktuell für die 2770 natürlich auf dem Gebiet der Bundesrepublik Deutschland vorkommenden Pflanzenarten eine Erkennungsgenauigkeit von 83.5% erreicht. In 95.66% der Fälle befindet sich die korrekte Art unter den ersten fünf auf einem Bild erkannten Pflanzen. Aktuell wird die multimodale Datenfusion umgesetzt, erste Tests zeigen eine weitere Erhöhung der Genauigkeit. Außerdem werden die für die automatische Erkennung relevanten Teile des Bildes berechnet (vgl. Abbildung 4) und abgelegt um einen automatischen Vergleich mit für Taxonomen relevanten Pflanzenmerkmalen herstellen und Trainingsdaten anreichern zu können. Zudem entwickelt das Team Möglichkeiten, auch die absolute Größe der im Bild erkannten Pflanzenteile zu erfassen und für die Bestimmung zu nutzen [6].
Bilderkennung und Metadatenanalyse liefern bereits sehr genaue Ergebnisse, insbesondere für prominente Pflanzenarten. Um das Erkennungsergebnis darüber hinaus zu verbessern und eine hohe Erkennungssicherheit gewährleisten zu können, werden dem Nutzer der App Flora Incognita zusätzlich Fragen zu den äußerlichen Merkmalen der Pflanze gestellt. Die Auswahl der Fragen erfolgt multivariat optimiert hinsichtlich der jeweiligen Informationslage der aktuellen Beobachtung, der Anzahl an Fragen sowie dem Profil des jeweiligen Nutzers. Nutzer mit entsprechendem Vorwissen oder Erfahrungsstand in der Benutzung der App können so weniger, jedoch kompliziertere Fragen beantworten. Indem Nutzer so über Pflanzenarten und deren Merkmale informiert werden, erfüllt die App gleichzeitig einen didaktischen Auftrag. Mit hoher Sicherheit bestimmte Pflanzenarten werden gemeinsam mit ihrem Standort an zentrale Datenbanken von Naturschutzbehörden und Forschungseinrichtungen übermittelt und dienen so letztlich der Kartierung und Beobachtung der Diversität unserer Pflanzenwelt.
Das Projekt Flora Incognita wird seit August 2014 als Verbundprojekt zwischen der TU Ilmenau und dem Max Planck Institut für Biogeochemie in Jena von BMBF, BfN und der Naturschutzstiftung Thüringen gefördert. Ein interdisziplinäres Team aus Biologen, Informatikern, Physikern und Medientechnikern arbeitet gemeinsam an der Umsetzung der Projektziele. Nicht zuletzt aufgrund der wegweisenden Kombination von Disziplinen der Computerwissenschaften, Botanik und Ökologie wurde das Forschungsprojekt als offizielles Projekt der UN-Dekade Biologische Vielfalt ausgezeichnet.
Derzeit werden drei Applikationen für iOS- und Android-basierte Endgeräte entwickelt:
In Zeiten von „Big Data“ haben die Entwickler höchsten Anspruch an die verwendeten Technologien. Das Sammeln und Verwalten großer Datenmengen erfordert ein durchdachtes Softwaredesign im Verbund mit robuster Architektur und hoher Sicherheit. Die Apps werden unter Verwendung aktueller Multiplattformframeworks entwickelt. Sämtliche Client-Server-Kommunikation erfolgt verschlüsselt und Nutzerdaten werden nur im geringstmöglichen Maß erfasst.
Kontaktinformationen:
Prof. Dr. Patrick Mäder (JP)
Fachgebiet Softwaretechnik für sicherheitskritische Systeme
Fakultät für Informatik und Automatisierung
Referenzen:
[1] J. Wäldchen und P. Mäder (2018), Plant Species Identification Using Computer Vision Techniques: A Systematic Literature Review, Archives of Computational Methods in Engineering 25(2), 507, https://doi.org/10.1007/s11831-016-9206-z
[2] J. Wäldchen, M. Rzanny, M. Seeland und P. Mäder (2018), Automated plant species identification - Trends and future directions, PLOS Computational Biology, https://doi.org/10.1371/journal.pcbi.1005993
[3] M. Seeland, M. Rzanny, N. Alaqraam J. Wäldchen und P. Mäder (2017), Plant species classification using flower images—A comparative study of local feature representations. PLoS ONE 12(2): e0170629, https://dx.doi.org/10.1371/journal.pone.0170629
[4] M. Rzanny, M. Seeland, J. Wäldchen, M. Rzanny und P. Mäder (2017), Acquiring and preprocessing leaf images for automated plant identification: understanding the tradeoff between effort and information gain. Plant Methods 13:97, https://doi.org/10.1186/s13007-017-0245-8
[5] H.C. Wittich, M. Seeland, J. Wäldchen und P. Mäder (2018), Recommending plant taxa for supporting on-site species identification, BMC Bioinformatics (accepted for publication)
[6] M. Hofmann, M. Seeland und P. Mäder (2018), Efficiently Annotating Object Images with Absolute Size Information Using Mobile Devices, International Journal of Computer Vision (accepted for publication)