Vor zwei Jahren ist Gaussian Splatting erstmals auf dem Markt erschienen, seitdem hat es sich als neue Methode zum Rendering von 3D-Modellen weltweit schnell etabliert. Auch die Vermessung kann profitieren.
Gaussian Splatting ist eine innovative Technologie aus dem Bereich des Echtzeit-Renderings. Sie ermöglicht die Erstellung hochauflösender, realitätsnaher 3D-Modelle aus 2D-Fotos oder Laserdaten. Ein wesentliches Merkmal ist die hohe Qualität der Modelle mit einer dichten, realistischen Textur und eine performante, dynamische Visualisierung. Besonders im Bereich der Computerspiele und bei 3D-Künstlern hat das Verfahren viel Anklang gefunden, obwohl es noch sehr neu ist. Erstmals vorgestellt wurde es im Jahr 2023 in Frankreich. Seitdem steht es als Open-Source-Software zur Verfügung und wird weltweit beständig weiterentwickelt.
Ein wesentliches Merkmal dieses Verfahrens ist die hohe Qualität der generierten Modelle, die sich durch dichte, realistische Effekte auszeichnen und eine performante Visualisierung ermöglichen. Obwohl das Verfahren noch sehr jung ist, hat es sich aufgrund seiner Leistungsfähigkeit bereits in der Spieleentwicklung und bei 3D-Künstlern großer Beliebtheit erfreut.
Die Technologie wurde 2023 erstmals von einer Gruppe von Wissenschaftlern der Universität Côte d’Azur in Frankreich vorgestellt. Die damals gezeigten ersten Beispiele erzeugten sogleich eine große Resonanz in der Community, weshalb das als Open Source veröffentlichte Berechnungsverfahren seither weltweit kontinuierlich weiterentwickelt und optimiert wird.
Vor allem die visuellen Ergebnisse waren beeindruckend. Die Wissenschaftler hatten unter anderem am Beispiel eines Fahrrads gezeigt, wie gut Details wie glänzende Fahrradspeichen dargestellt werden können. Schwierige Sichtverhältnisse sind eine der Domänen des Gaussian Splattings. Reflektierende Flächen und sogar transparente Materialien sehen hier sehr realistisch aus, was bei bisherigen Renderings nach wie vor schwierig ist.
Mehrere Universitäten und Firmen haben neu entwickelte Algorithmen vorgestellt, die, ebenso wie „Gaussian Splatting”, die Wahrscheinlichkeitsrechnung für das 3D-Rendering nutzen. Viele der Entwicklungen präsentieren ihre Ergebnisse anhand des ursprünglichen Datensatzes des Fahrrads (siehe Bild), um die Ergebnisse vergleichbar zu machen. Der Begriff „Gaussian Splatting” kann heute als Label für Algorithmen verstanden werden, die Wahrscheinlichkeitsrechnung als mathematische Grundlage für das 3D-Rendering nutzen.
Verfahren im Vergleich
Beispiel des Fahrrads, das bereits bei der ersten Vorstellung von Gaussian Splatting am Markt genutzt wurde. Seitdem wird es immer wieder von Forschern genutzt.
Foto: SIGGRAPH 2023
Neben dem Detailreichtum zählt die Performance der Visualisierungen zu den Stärken des Gaussian Splattings. In der Gaming-Branche werden mit dieser Technik Virtual-Reality-Projekte umgesetzt, bei denen reale Welten virtuell nachgebildet werden und vor allem Bewegtbilder gefragt sind. Neben den ebenfalls bekannten NeRFs (Neural Radiance Fields) setzt das Gaussian Splatting hier den neuen Benchmark für Schnelligkeit, Flexibilität und Realismus. Damit erobert es professionelle Anwendungsfelder wie das Metaverse, Trainingssimulationen oder interaktives Storytelling.
Die drei wichtigsten 3D-Verfahren haben alle ihre eigenen Stärken und Schwächen. NeRF nutzt Deep Learning, um aus 2D-Bildern 3D-Modelle zu erstellen. NeRF kann sehr gut mit komplexer Beleuchtung und begrenztem Ausgangsmaterial (schlecht aufgelöste Videos) umgehen, erfordert jedoch eine hohe Rechenleistung und ist für geometrische Berechnungen ungeeignet. Deshalb spielen NeRFs im Umfeld der Geodäsie kaum eine Rolle.
Die Photogrammetrie als „älteste” der drei Techniken liefert abhängig vom Ausgangsmaterial sehr genaue 3D-Darstellungen, in denen hervorragend und präzise gemessen werden kann. Allerdings finden sich auch die Beleuchtungsbedingungen der Quellbilder im Modell wieder, wodurch die Photogrammetrie diesbezüglich empfindlich wird. In puncto geometrischer Präzision gilt die Photogrammetrie nach wie vor als Goldstandard.
Gaussian Splatting weist ähnliche Stärken wie NeRFs auf, kann jedoch in Echtzeit gerendert werden und erzielt hohe Genauigkeiten. Das Entwicklungsziel der „Gaussian Splats” war es, komplexe 3D-Daten effektiv zu erstellen, also die Modelle zu visualisieren, ohne dabei viel Rechenleistung zu benötigen. Dementsprechend ist die Navigation in den „Gaussian Splat“ sehr schnell und intuitiv, weshalb sie in der Gaming-Branche als neuer Meilenstein in der Computergrafik gefeiert wird.
Der Aufwand für die Datenerfassung ist gering und die Berechnung kommt auch mit qualitativ niedrigem Eingangsmaterial zurecht. Die Auswertung ist jedoch anspruchsvoll. Georeferenzierung, Orientierung bei der Bildanalyse oder Blockbündelausgleichung müssen ebenso wie bei der Photogrammetrie exakt erfolgen, um gute Ergebnisse zu erzielen. Die Berechnungszeit kann demnach, abhängig von der Menge der 2D-Eingangsdaten, auch sehr lange bis hin zu mehreren Tagen in Anspruch nehmen und sollte nicht unterschätzt werden.
Struktur und Mathematik
Gaussian Splats haben eine andere Struktur als Pixel. Sie besitzen Parameter wie Position, Größe und Farbe, basieren jedoch nicht auf Dreiecksvermaschung und Punkten. Das Grundmuster der Gaussians erinnert an kleine, facettenreiche Splitter, die in einem Optimierungsprozess so lange neu zusammengesetzt werden, bis sich ein möglichst realistischer Gesamteindruck ergibt. Bei der Erstellung der GS werden stochastische Funktionen (Wahrscheinlichkeitsrechnung) herangezogen, die auf den Mathematiker Carl Friedrich Gauß zurückgehen, der daher Namenspatron wurde. Die Mathematik sorgt dafür, dass komplexe 3D-Daten effektiv erstellt werden und die Visualisierung folglich mit wenig Rechenleistung auskommt beziehungsweise sehr schnell und intuitiv ist.
Carl Friedrich Gauß ist Pate für die Namensgebung, denn die mathematische Grundlage des Algorithmus ist die Stochastik.
Bild: Zlatko Guzmic / stock.adobe.com
Gaussian Splats haben in puncto Zusammensetzung eine andere Grundstruktur als die bekannten „Punkt“-Wolken. Die Splats besitzen zwar auch Parameter wie Position, Größe und Farbe, ihr Grundmuster erinnert jedoch eher an kleine, facettenreiche Splitter. Diese werden im Rahmen der Verarbeitung so lange neu zusammengesetzt, bis sich ein möglichst realistischer Gesamteindruck ergibt. Bei der Erstellung der GS werden stochastische Funktionen (Wahrscheinlichkeitsrechnung) herangezogen. Namenspatron ist daher der Mathematiker Carl Friedrich Gauss. Die innovative Gauß-Berechnung macht den Prozess unabhängiger vom Ausgangsmaterial. Oft genügen Bilder geringer Qualität, um ein leistungsfähiges Modell zu erhalten. Das Plus bei schlechtem Licht ist darauf zurückzuführen, dass Reflektionen und Transparenzen hier sehr gut „herausgerechnet“ werden können.
Gaussian Splats erzeugen eine große Tiefenschärfe und vermitteln so einen intuitiven Eindruck der Tiefe des dargestellten Raums. Entfernungen der Objekte zueinander können gut eingeschätzt werden. „Auch bei Gaussian Splatting können teilweise Artefakte auftreten. Dazu zählen beispielsweise sogenannte ‚Floaters‘ – freischwebende Gaussians, die nicht korrekt an eine Oberfläche gebunden sind – sowie Ghosting-Effekte“, beschreibt Marten Krull, Geschäftsführer der Vermessung3D GmbH in Hagen. Er arbeitet bereits seit über fünfzehn Jahren im Bereich der Photogrammetrie und hat bereits viele Projekte mit GS umgesetzt und unterstützt bei der Einführung dieser Technik.
Den Gaußschen Gitternetzen fehlt allerdings ein fester geometrischer Bezugsrahmen, sodass räumliche Analysen nicht im geforderten Maße möglich sind. Ebenso gilt es derzeit noch als Herausforderung, GS in GIS-basierte Pipelines für die 3D-Datenverarbeitung zu integrieren. Auch die Identifikation und Modellierung einzelner Objekte ist anspruchsvoll. Die Interaktivität der GS-Anwendungen ist demnach begrenzt. Krull ergänzt: „Dies begrenzt derzeit auch noch das Anwendungspotenzial in klassischen GIS- und BIM-Anwendungen.“
„Man muss klar unterscheiden: Ein visuell beeindruckendes Gaussian Splatting-Modell ist nicht automatisch ein technisch nutzbares Werkzeug“, so Krull. „Ohne eine konsistente Orientierung des Bildverbandes oder der Trajektorie des SLAM-Systems kann das GS-Modell auch nicht sinnvoll für GIS- oder BIM-Anwendungen genutzt werden. Das wahre Potenzial erschließt sich daher erst durch hybride Workflows.“
Aktuelle Situation
In der Forschungsgemeinde wächst das Interesse an „Gaussian Splatting” kontinuierlich. In Projekten wie SplaTAM wird beispielsweise untersucht, wie sich diese Methode mit SLAM-Technologien kombinieren lässt. Unternehmen wie Meta entwickeln Avatar-Systeme der nächsten Generation, um Körperbewegungen und Ausdrucksformen noch realistischer darzustellen.
Ein erster Hersteller aus dem Vermessungsbereich, der GS integriert hat, ist das chinesische Unternehmen XGRIDS (siehe Beitrag rechts). Auch manche Photogrammetrie-Lösungen etwa von Pix4D (siehe Beitrag S.22) nutzen GS als Ergänzung, um die Kernverfahren der Modellberechnung zu verbessern.
Experten gehen grundsätzlich davon aus, dass ingenieurstechnische Anwender – die derzeitige Domäne der Photogrammetrie – von dem neuen Realitätssinn der GS profitieren werden. „Für Planungen, Präsentationen und Besprechungen gilt die realistische Modellierung nicht nur als einfach schön und ‚nice to have‘, sondern hat sich als wichtiges Kriterium etabliert“, sagt Eric Bergholz von Laserscanning Europe. Er vertreibt die Produkte des chinesischen Herstellers XGRID in Deutschland. Insbesondere profitieren Anwendungen in den Bereichen Kulturerbe, Archäologie, Tourismus, Filmproduktion und Immobilienwirtschaft davon.
Vorteile auch für die Vermessung
Gaussian Splat aus dem Innenraum einer Kirche. Bei dem Projekt der Vermessung3D GmbH wurde die Orgelplanung als 3D-Modell aufbereitet und in das Gaussian Splatting Model hineingesetzt.
Quelle: Vermessung3D GmbH
So hat das Unternehmen Vermessung 3D beispielsweise im Rahmen eines Projekts den Innenraum einer Kirche erfasst (siehe Bild rechts). Hintergrund war der Einbau einer neuen Orgel und die dafür erforderlichen Sichtanalysen zur Platzierung des Instruments im sakralen Raum. Marten Krull und sein Team benötigten 15 Minuten für die Erfassung des Innenraums, die Berechnung des virtuellen Modells erfolgte innerhalb eines Tages. „Mit minimalem Aufnahmeaufwand und ohne statische Standpunkte erreichen wir eine relative Genauigkeit von unter fünf Zentimetern, was für die geforderte Sichtanalyse völlig ausreichend war“, beschreibt Krull. Aktuell ist das Verfahren bei ingenieurtechnischen Entwicklungen jedoch noch weniger verbreitet. Doch es gibt viele Synergien, wie die Beispiele der Photogrammetrie-Programme zeigen. Experten gehen davon aus, dass insbesondere SLAM-basierte Geräte zunehmend mit Gaussian Splatting ausgestattet werden. Es gibt bereits erste GS-basierte Programme, mit denen sich Objekte automatisch identifizieren lassen. Es gibt auch Varianten, die für die drohnenbasierte Bilderfassung optimiert sind. Man kann daher von interessanten Entwicklungen für Ingenieursanwendungen ausgehen. „Es ist zu erwarten, dass Systeme mit SLAM und Kameras in naher Zukunft zu einem deutlich günstigeren Preis verfügbar sein werden“, so Bergholz.