KI findet immer mehr Verwendung, auch in der Auswertung von Satellitenbildern. Aber sind die Ergebnisse auch immer verläßlich? Nein, ergeben Untersuchungen. Daher forschen Constructor University und das Spinoff-KMU rasdaman GmbH jetzt daran, wie KI-Modelle auf zuverlässige Art und Weise beschränkt werden können.
KI ist ein mächtiges Werkzeug, jedoch noch längst nicht ausreichend zuverlässig. Insbesondere auf Big Geo Data wie Satelliten- und Wetterdaten, wo eine menschliche Überprüfung von Ergebnissen unmöglich ist, kann diese Unzuverlässigkeit zu gefährlichen Fehlentscheidungen führen. Erste Experimente zur Integration mit raum-zeitlichen Geo-Datenwürfeln haben gezeigt, dass die leichte Anwendung von trainierten Modellen oft dazu führt, dass diese aus Unkenntnis außerhalb ihrer “Wohlfühlzone” angewendet werden und dann falsche Ergebnisse liefern. Dennoch wird KI unbestritten immer wichtiger, um zeitnah Analysen auf den großvolumigen „Big Deo Data“ zu ermöglichen.
„Mit unserer rasdaman-Plattform ist es sehr einfach, Modelle auf jeden Ort und auf jede Zeit anzusetzen. Allerdings stellen wir fest, daß Modelle sehr schnell an Genauigkeit verlieren, wenn sie außerhalb der Wohlfühlzone ihrer Trainingsdaten angewendet werden“, erklärt Projektleiter Peter Baumann, Professor für Informatik and er Constructor University Bremen, und fährt fort, „im Gut-Fall haben wir 85% Genauigkeit und mehr beobachtet, im Schlecht-Fall erodiert das schon mal auf 20% – wenn man eine Münze wirft, ist man dann besser dran als mit KI“.
Der innovative Forschungsansatz besteht darin, KI-Modelle nach Möglichkeit auf solche Situationen einzuschränken, in denen sie akzeptable Ergebnisse liefern. „Model fencing“ nennt das Baumann und hat ein Beispiel: „Wenn ein Modell Landnutzung wie Weizen oder bebautes Land klassifizieren soll, wird es über dem Ozean nur halluzinieren, also Unsinn liefern.“ Für Menschen ist das manchmal sehr einfach zu erkennen – wird jedoch KI inmitten einer automatisierten Prozessierungskette eingesetzt, so gibt es keine Prüfinstanz mehr. Die Folgen können schwerwiegend bis hin zu katastrophal sein.
Das Projekt FAIRgeo (Fencing AI for Enhanced Reliability in Geo Services) wird vom Land Bremen im Rahmen des Europäischen Fonds für regionale Entwicklung (EFRE) gefördert. Das Konsortium besteht aus Constructor University und rasdaman GmbH. Die Laufzeit beträgt 24 Monate.