FME macht mehr als ETL

Als Don Murray und Dale Lutz im Jahr 1993 das Unternehmen Safe Software gründeten waren sie die ersten, die mit FME ein Werkzeug für die Transformation von Geodaten auf den Markt brachten. Heute wird FME weltweit eingesetzt um die Interoperabilität von Daten verschiedenster Quellen zu gewährleisten. Business Geomatics sprach mit den beiden Unternehmern über die aktuelle FME-Version und den Ausblick auf die Geo-Formate der Zukunft.

Business Geomatics: Wie erklären Sie einem Newcomer in drei Sätzen, was FME ist und was es kann?

Don Murray, Gründer des kanadischen FME-Herstellers Safe Software.

Don Murray, Gründer des kanadischen FME-Herstellers Safe Software.

Mit FME kann man Daten transformieren, egal in welcher Form diese Daten vorliegen und in welche Umgebung sie integriert werden sollen. FME Workbench ist die graphisch-interaktive Benutzer- Schnittstelle zur Erstellung von Transformationsprozessen für Daten aus Hunderten von Systemen, einschließlich CAD, GIS, BIM, XML, Raster, Punktwolken und vieles mehr. Mit FME Server und FME Cloud können diese Transformationsprozesse perfekt automatisiert werden, so dass man die in der FME Workbench vordefinierten Prozessschritte einem bestimmten Zeitplan entsprechend oder als Reaktion auf einen Auslöser ausführen kann.

Safe Software hat den Begriff Spatial ETL geprägt. Lässt sich FME unter diesem Terminus eigentlich exakt beschreiben?

Nein, weil Spatial ETL nur einen Aspekt von vielen beschreibt, die von FME abgedeckt werden. ETL ist ein in der traditionellen IT gebräuchlicher Begriff, um Datenprozesse zu beschreiben, die dem Modell Extract-Transform-Load entsprechen. Wir haben das Wort „Spatial“ vorangestellt, um damit eine der Nutzungsformen von FME zum Ausdruck zu bringen — FME ist ein Werkzeug, mit dem man räumliche Daten extrahieren (Extract), umsetzen (Transform) und in ein beliebiges Zielsystem integrieren (Load) kann. Obwohl Spatial ETL eines der Hauptmerkmale von FME ist, macht FME viel mehr als ETL, und die räumlichen Daten bilden dabei lediglich eine Untermenge aller unterstützten Datenarten. FME ist eine Plattform zur Automatisierung von praktisch beliebigen Datenprozessen.

Eigentlich ist FME also die Medizin für eine Krankheit, die eigentlich keiner haben will, nämlich einen Interoperabilitäts-Mangel. Wie erklären Sie sich, dass dieses Problem in der heutigen Geoinformationslandschaft so stark ausgeprägt ist?

Der Mangel an Interoperabilität war das ursprüngliche Problem, das wir mit FME beheben wollten. In der Zwischenzeit hat sich FME weiterentwickelt, um einer noch größeren Bandbreite an Herausforderungen gerecht zu werden. Immer mehr Menschen haben Zugang zu mehr Daten aus mehr Quellen als jemals zuvor. Anstatt unbedingt eine Interoperabilität dieser Datensätze zu erreichen, geht es nun bei FME eher um Datenfusion und um die Integration einer sehr breiten Palette von spezialisierten Systemen. Wir sehen einen steigenden Bedarf, neue Daten aus vorhandenen Datensätzen abzuleiten, die Qualitätssicherung von Daten zu gewährleisten, Echtzeit-Datenflüsse und Sensoren zu unterstützen und andere Herausforderungen rund um die ständig steigende Anzahl an Systemen zu bewältigen.

Welches Know-how muss ein Neukunde mitbringen, um FME produktiv nutzen zu können?

Unser Ziel ist es, mit der FME-Benutzerschnittstelle eine graphisch-interaktive Lösung zu bieten, mit deren Hilfe vollständig auf klassischen Programmiercode verzichtet werden kann. Obwohl Programmierkenntnisse nicht mehr zwingend erforderlich sind, wird die Fähigkeit, logisch und algorithmisch zu denken, weiterhin ein wichtiger Faktor bleiben, um die komplexen Fragestellungen unserer Kunden zu lösen. Ein solides Verständnis des jeweiligen Fachgebietes hilft dabei, das Problem zu definieren – und das vollständige Erfassen des Problems ist der erste Schritt auf dem Weg zur Lösung.

Ein Thema ist der steigende Automatisierungsgrad des ETL-Prozesses bei FME. Wo geht in diesem Punkt die Reise bei FME hin?

Dale Lutz, Gründer des kanadischen FME-Herstellers Safe Software.

Dale Lutz, Gründer des kanadischen FME-Herstellers Safe Software.

Die Automatisierung hat eine sehr hohe Priorität. Der Aufbau eines Workflows zur Integration und Transformation von Daten ist schon eine große Leistung, aber diesen Datenfluss zu automatisieren, bringt noch zusätzlichen Mehrwert. Echtzeit-Sensoren und ein ständiger Fluss von Daten erfordern eine sofortige Reaktion, und wir möchten, dass FME diese Anforderungen bestmöglich bedient. Workflows müssen auf viele verschiedene Arten von Ereignissen reagieren können und in der Lage sein, dass Daten ohne menschliche Beteiligung umgehend in Bewegung gesetzt werden. Das ist die einzige Möglichkeit, wie Geschäftsprozesse auf Dauer dem ständig wachsenden Datenfluss Herr werden können.

Was sind die entscheidenden Neuerungen bei der aktuellen Version von FME?

FME 2016.1 besitzt leistungsfähige Funktionalitäten für die Qualitätssicherung inklusiv einer verbesserten Datenvalidierung für Attribute und Geometrien. In diesem Zusammenhang haben wir neue Transformer und Writer für HTML- und Tableau-Reports, von denen wir uns versprechen, dass Anwender damit ihre Daten in eine visuell ansprechendere und einfacher lesbare Form bringen können. Wie bei jedem FME Release werden weitere Datenformate und Protokolle unterstützt – dieses Mal lag der Schwerpunkt auf Web- und Cloud-basierten Systemen. Weil viele von unseren Kunden auf Web-Applikationen setzen, haben wir auch an einfach konfigurierbaren OAuth- und Web Services-Verbindungen gearbeitet. Außerdem haben wir insgesamt alle Benutzerschnittstellen weiter verbessert, so dass es einfacher als jemals zuvor ist, sich mit FME vertraut zu machen und effizient zu arbeiten. Das FME Cloud Dashboard bietet Anwendern mehr Kontrolle und Übersicht, wann ihre Instanzen ausgeführt und welche Ressourcen dabei verwendet werden.

Auch bei FME ist die Cloud ein Thema. Welche Vorteile sieht Safe Software in Bezug auf FME von Cloud-basierten ETL und wie wird es sich mittelfristig in der Praxis niederschlagen?

„Data gravity” ist ein Konzept, mit dem wir bei Safe sehr vertraut sind. Es bedeutet, dass die Datenprozessierung nah bei den Daten liegt. Immer mehr „Big Data“-Bestände befinden sich in der Cloud, so dass FME Cloud hierfür maßgeschneidert ist. Wir überführen den Transformationsprozess in die Cloud, also dorthin wo auch die Daten liegen. Dies beschleunigt die Prozesse dramatisch. Außerdem brauchen sich Unternehmen keine Gedanken mehr machen, wie diese großen Datenmengen „on-premise” verwaltet werden. Wir wissen, dass die Cloud mit großen Datenmengen sehr schnell umgehen kann, also lassen wir die Daten dort.

Erwarten Sie eine weitere Zunahme an Datenformaten im Geobereich oder werden wenige leistungsfähige Formate in Zukunft das Rennen machen?

infokasten

con terra auf der Intergeo

Safe Software ist auf der Intergeo bei der con terra GmbH, ihrem weltweit umsatzstärksten Partner als Mitaussteller vertreten. Gemeinsam zeigen die Unternehmen die vielfältigen Einsatzmöglichkeiten der FME, wie die Überführung von Geodaten nach ETRS89/UTM oder die automatisierte Erstellung von Minecraft Welten aus CityGML Gebäudemodellen und OSM Daten. Ebenso wird das INSPIRE Solution Pack for FME vorgestellt. Weitere Themen auf dem con terra Stand sind die Absicherung von ArcGIS Server Diensten, Geo Web Analytics oder User Centered Design (UX). Praxisnah wird es bei der Vorstellung von Projekten auf Basis von ArcGIS, FME und map.apps: Darunter das European Open Data Portal, das Geoportal Sachsenatlas, das Winterdienst¬managementsystem Bayerns sowie verschiedene INSPIRE Lösungen. Gemeinsam mit Vertretern von IT.NRW werden auch BORISplus.NRW und die neuen nativen BORISplus.NRW Apps gezeigt. Der Auskunftsdienst ist mit über einer Million Zugriffen im Monat eines der erfolgreichsten E-Government-Projekte des Landes.

Existierende Formate werden selten (wenn überhaupt) wirklich aussterben. Es werden allenfalls weitere hinzukommen. Viele hatten die Hoffnung, dass das GeoPackage-Format der nächste große Trend sein wird – und es wird, wie in anderen Fällen zuvor auch, eine Schlüsselrolle für eine Reihe von Applikationen und Workflows einnehmen. Aber wir wären überrascht, wenn Shapefiles, TAB-Dateien, GML oder andere wichtige räumliche Datenformate in naher Zukunft abgelöst würden. Nach GeoPackage wird es zweifelsohne einen weiteren Ansatz geben. Einige Formate werden immer populärer sein als andere, aber wir glauben nicht, dass ein einziges Format alle anderen ersetzen wird.

Safe Software ist in den letzten Jahren stark gewachsen: Welche strategischen Ziele verfolgt Ihr Unternehmen, welche Rolle sollen die Partner in Zukunft übernehmen?

Strategisch müssen wir uns dort bewegen, wo sich unsere Kunden derzeit und in Zukunft befinden. Letztendlich ist FME eine Art Datendrehscheibe und wir müssen permanent Ausschau halten, wo sich neue Anknüpfungspunkte auftun, um diese dann zu unterstützen. Wir versuchen Entwicklungen in der Datenlandschaft vorauszusehen und Wetten darauf abzuschließen, in welche Richtung sich Technologien entwickeln. Wir werden nicht jede Wette gewinnen, aber solange wir einige gewinnen, werden wir auch Lösungen vorantreiben, mit denen unsere Kunden ihre Daten im Fluss halten können. Unsere Partner sind dafür der Schlüssel. Zunächst wissen unsere Partner am besten, was ihre eigenen Kunden als wichtig identifiziert haben. Darüber hinaus bieten sie eine Vielzahl von Services rund um FME-Technologie und unterstützen somit unsere Anwender in den verschiedenen Regionen optimal.

con terra, Halle 4, C4.013