Geodatenintegration mit Talend

Disy hat f├╝r die Datenplattform Talend das Plug-in ÔÇ×GeoSpatial Integration f├╝r TalendÔÇť entwickelt. Es erweitert Talend um Funktionen zur Einbindung von GIS-Datenquellen und Bearbeitung von Geodaten.

Etablierte Ans├Ątze und Werkzeuge zur Verarbeitung und Integration von Daten werden zunehmend um Funktionalit├Ąten zur Geodatenverarbeitung und Visualisierung erweitert. Denn der Megatrend der Geobranche besteht darin, Geodaten immer mehr in Unternehmensprozesse einzubinden, die bisher keine Geodaten kennen oder nutzen. Das 2005 gegr├╝ndete, ├╝ber 1.000 Mitarbeiter starke Unternehmen Talend Inc. stellt als branchen├╝bergreifender Anbieter von Datenintegrationssoftware seine namensgleiche Plattform Talend als Open-Source-Werkzeug zur Verf├╝gung. Mit ihr werden klassische ETL-Prozesse zum Aufbau von Data-Warehouse-L├Âsungen, aber auch f├╝r die Integration von Big-Data oder f├╝r die Datenverarbeitung in der Cloud durchgef├╝hrt.

Das Geo-Plug-in ÔÇ×GeoSpatial Integration f├╝r TalendÔÇť von Disy integriert sich nahtlos in das Talend-Men├╝ und erweitert die Plattform um Geofunktionalit├Ąten. Foto: Disy Informationssysteme GmbH

Geodaten nahtlos integriert

Die von Talend unterst├╝tzten ETL-Prozesse ÔÇô kurz f├╝r Extract, Transform, Load (zu Deutsch: Extraktion, Transformation, Laden) ÔÇô beschreiben Verfahren, bei denen Daten aus mehreren, gegebenenfalls unterschiedlich strukturierten Datenquellen in einer Zieldatenbank vereinigt werden. Dabei werden die relevanten Daten zuerst aus verschiedenen Quellen extrahiert, dann in teilweise umfangreichen Prozessen bereinigt, zusammengef├╝hrt, angereichert, transformiert oder qualit├Ątsgesichert, in das Schema und Format der Zieldatenbank ├╝berf├╝hrt und schlie├člich in diese geladen. Talend wird nun mit dem von der Disy Informationssysteme GmbH entwickelten Plug-in ÔÇ×GeoSpatial Integration f├╝r TalendÔÇť noch um Funktionen zur Geodatenverarbeitung erweitert.

Das vom Karlsruher Unternehmen entwickelte Plug-in integriert die wichtigsten GIS-Datenquellen und r├Ąumliche Operationen f├╝r die Geodatenverarbeitung in die Talend-Plattform. Dadurch entfalle beim Aufbau gro├čer Data-Warehouse-L├Âsungen die Notwendigkeit, f├╝r die Datenintegration sowie die Geodatentransformation und -verarbeitung separate Werkzeuge zu nutzen, so Disy. Der Clou des Geo-Plug-ins: Die neuen Komponenten und Operatoren sollen die vorhandene Talend-Komponentenpalette nahtlos erweitern, sodass der Ersteller von ETL-Jobs dieselbe Umgebung nutzt, egal ob gerade Prozesse mit oder ohne Geodatenverarbeitung erstellt werden.

Umfangreicher Funktionsumfang f├╝r Geo-ETL

ÔÇ×GeoSpatial Integration f├╝r TalendÔÇť fokussiert den Aufbau von gro├čen Data-Warehouse-L├Âsungen mit umfangreichen automatisierten Prozessen ÔÇô auch mit mehreren Entwicklern in Test-, Entwicklungs- und Produktionsumgebungen. Daher unterst├╝tzt das Plug-in die f├╝r diese Zwecke g├Ąngigen Geodatenbanken und -formate Oracle Locator/Spatial, PostGIS, SpatiaLite und Shapefiles. ├ťber Well-known Text (WKT) und Well-known Binary (WKB) lassen sich dar├╝ber hinaus Daten aus weiteren Datenquellen, wie SAP Hana, SQL-Server oder der h├Ąufig in ArcGIS genutzte Datentyp SDE.ST_Geometry, lesen und schreiben.

Nachdem Geodaten in Talend eingelesen wurden, k├Ânnen sie zus├Ątzlich umf├Ąnglich r├Ąumlich verarbeitet werden. Hierf├╝r stellt das Plug-in nach Herstellerangaben sowohl eigene Komponenten bereit, die per Drag-and-Drop in ETL-Jobs genutzt werden k├Ânnen, als auch spezielle Geo-Routinen, die die Funktionalit├Ąt der Talend-Komponenten erweitern. So k├Ânnen im Integrationsund Transformationsprozess beispielsweise Fl├Ąchen oder L├Ąngen berechnet, Geometrien verschnitten sowie Puffer, konvexe H├╝llen oder Bounding-Boxen gebildet werden. Zudem sollen weitere Routinen den Nutzer bei der Pr├╝fung nach Validit├Ąt von Geometrien oder dem direkten Vergleich mehrerer Geometrien nach ├ťberlappung, Ber├╝hrung oder Enthaltensein sowie bei der Distanzmessung zwischen ihnen unterst├╝tzen. Die Umwandlung von Koordinaten in Punkte beziehungsweise von Punkten in Linien ist ebenso m├Âglich wie die direkte Umrechnung von Geometrien zwischen unterschiedlichen Koordinatensystemen. Das Geo-Plug-in steht ÔÇô wie Talend selbst ÔÇô als kostenlose Variante zum Download zur Verf├╝gung. F├╝r unternehmenskritische und gro├če Umgebungen bietet Disy eine kommerzielle Version als Abonnement an.

www.talend.com

www.disy.net/geospatial