FME Server

Gehen Sie mit uns auf
Entdeckungsreise!
What‘s new in FME 2014!
Ein Überblick über die Neuerungen
Christian Dahmen
con terra GmbH
Übersicht
•
•
Einführung FME Technologie
Neuerungen
> FME Technologie
> Formate und Transformer
> FME Workbench und FME Data Inspector
> FME Server
Safe Software Inc.
•
•
•
•
•
Sitz in Vancouver, British Columbia, Kanada
Gegründet 1993 von Don Murray und Dale Lutz
Fokus liegt auf FME Technologie
100 Mitarbeiter
www.safe.com
FME Technologie
•
•
•
•
•
Daten konvertieren
Daten transformieren
Daten verteilen und weitergeben
Daten integrieren und harmonisieren
Datenqualität sichern
Daten konvertieren
•
Mehr als 300 unterstützte (Geo-) Datenquellen
> Autodesk, Esri, Google, IBM, Informatica, Intergraph, MapInfo,
Microsoft, Oracle, Smallworld, u.a.
Daten transformieren
•
•
•
•
•
Dateneigenschaften und -inhalte bearbeiten (Attribute)
Geometrien verändern, ersetzen und erzeugen
Datenmodelle zusammenführen (Schema-Mapping)
Koordinaten transformieren
…
FME Produktlinien
FME Desktop
FME
Workbench
FME Data
Inspector
FME Quick
Translator
FME PlugIn API
FME
Objects API
FME
Extensions
32 und 64
Bit
FME Workbench
Zentrale Applikation für das Erstellen von Prozessen zur
Transformation von (Geo-) Daten
FME Data Inspector
Applikation zur formatunabhängigen Visualisierung mit 2D- und
3D-Ansicht
FME Server
•
Bringt FME Technologie ins Web!
> Verteilen und managen von Daten und Prozessen
> Flexible Datentransformation
> Echtzeitinformationen empfangen und senden
•
Kommunikation und Interaktion mit dem FME Server erfolgt über
Web Services
> Integration in Unternehmens-IT und Geschäftsprozesse
Dienste
Service Name
Kategorie
Data Download Service
Transformationsdienste
Data Streaming Service
Job Submitter Service
KML Network Service
Catalog Service
Utility Service
Data Upload Service
Token Service
Web Connection (SOAP) Service
REST Service
OGC Web Feature Service (WFS)
OGC Dienste
OGC Web Map Service (WMS)
Notification Service
Echtzeitdaten verarbeiten
Rollen/ Akteure
Autor
•
Definiert und veröffentlicht
FME Prozesse
Administrator
•
Verwaltet FME Server
Entwickler
Anwender
•
Konsumiert Daten/ Dienste
•
Integriert den
FME Server in die ITInfrastruktur
Prozess in der FME Workbench erstellen
•
Erstellung und Konfiguration des fachlichen Prozesses
(Workspace) erfolgt im FME Desktop
> Formate
> Transformer
> Parameter (offengelegte Nutzerparameter)
Auf dem FME Server publizieren in drei Schritten
•
Publikation des Workspaces auf dem FME Server
> Ablage in einem Server-Repository (Verzeichnis)
> Auswahl und Konfiguration der Dienstetypen
> Hochladen der Ressourcen (Quelldaten)
Einen Prozess Server-seitig ausführen
•
Ausführen eines Prozesses über
> Weboberfläche (manuell)
> Ereignisse (events)
> Schnittstellen (z.B. REST)
> Zeitgesteuert (scheduling)
Übersicht
•
•
Einführung FME Technologie
Neuerungen
> FME Technologie
> Formate und Transformer
> FME Workbench und FME Data Inspector
> FME Server
Splashscreen
FME Technologie
Aktuelle Themen
Big Data
Cloud-Based Mapping
Daten laden und exportieren
Daten analysieren
Datenabfragen durchführen
Raumbezug herstellen
Unterstützung für
Online-Dienste wie
ArcGIS Online oder
Google Maps Engine
Web Services
Integration von
Webdiensten wie
Zapier oder WFS 2.0
Weitere aktuelle Themen
•
Automatisierung & Workflowmanagement
> Automatische E-Mail Generierung, Logging, autom. Prozessabläufe
•
XML, GML und JSON
> Anwendungsschema-basiertes Lesen und Schreiben von GML-Daten
•
•
•
•
•
3D & Building Information Modeling (BIM) - Integration
(Geo-) Datenvalidierung und -Reparatur
Punktwolken und Rasterdaten
„Non-Spatial“-Daten
…
FME Produktlinien
FME Workbench auf dem Mac
Betriebssysteme
•
FME Desktop für Mac und Linux haben den Status einer
„Technical Preview“.
> 64-Bit Applikationen
Formate und Transformer
Formate & Transformer
Formate - Verwendungsmuster
CAD <-> GIS
•
Datenaustausch zwischen CAD- und GIS-Systemen ist das
klassische Einsatzszenario für FME
•
CAD-System
> Primär grafikorientiert (Zeichnung/ Plan)
> Kein Objektmodell, keine Relationen
> Keine Topologie
•
GIS-System
> Objektmodell (Eigenschaften, Geometrie)
> Objektrelationen
> Topologie
> Datenbank-gestützt
> Analyse
Neuerungen
•
Stetige Weiterentwicklungen und eine Vielzahl von nützlichen
Neuerungen und Anpassungen
> Formatattribute
> Parameter
•
Aktualisierung von Datenformaten
> AutoCAD Version 2014
> ArcGIS Version 10.2.x
> Esri Geodatabase API Version 1.3
> MapInfo Professional™ 12.0
> Intergraph GeoMedia® Professional 2013
3D & BIM
•
3D-Entwicklungen begannen mit der Version FME 2006
> Erweiterung des internen FME Geometriemodells um „Solids“ und
„Surfaces“
> Erste Formate: CityGML, VRML
•
Anwendungsszenarien
> Formatkonvertierungen
> Zusammenführen von 2D-, 3D-, non-Spatial, Raster- und Point
Cloud-Daten
> Erzeugen von 3D-Modellen aus 2D-Geobasisdaten
> Generierung von Gelände- und Oberflächenmodellen
> Automatisches Texturieren
> BIM <-> GIS-Datenintegration
Neuerungen
•
Neue Formate
> Autodesk Revit® Reader
> Trimble® Sketchup
> Virtual Reality Modeling Language (VRML 97) Reader
> X3D Writer (seit FME 2013)
•
Aktualisierte Formate
> Autodesk AutoCAD Civil 3D® Version 2013
> CityGML-Unterstützung für beliebige ADEs, Implizite Geometrien
> Industry Foundation Classes (IFC)
Punktwolken
Punktwolken
•
Formate
> ASCII XYZ -> beliebige Textformate (PointCloudXYZ Reader/ Writer)
> ASTM E57
> ASPRS LAS/ LAZ (Version 1.4) und ArcGIS LAS datasets
> Oracle Spatial
> PointTools
> RIEGL Laser Scan Database (RDB)
> TerraSolid TerraScan
> Z+F LaserControl ZFS
•
Mehr als 20 Transformer
> Extraktion von Punktwolken-Eigenschaften
> Komponentenbearbeitung
> Geometrische Operationen
Neuerungen
•
Interne PointCloud-Infrastruktur wurde vollständig überarbeitet
> Von LAS-Format ähnlicher Struktur zu E57-Struktur
•
Flexiblere Möglichkeiten im Umgang mit Komponenten
> Beliebige Komponenten definieren (Name, Wert und Typ)
> PointCloudComponentAdder|Copier|KeeperRemover|Renamer|TypeCoercer
•
PointCloudStatisticsCalculator, PointCloudExpressionEvaluator
und PointCloudFilter
•
PointCloudExtractor und PointCloudReplacer
> Speichern und Ersetzen der PointCloud als Attribut
•
Scaler und Offsetter wirken nun auch auf PointCloud
Komponenten
Rasterdaten
•
Mehr als 50 Rasterdatenformate
> (GIS) Formate Defacto-Standards Non-GIS: TIFF, GeoTIFF, BMP, PNG,
MrSID, JPG, JPEG2000, GIF
> GIS Formate: Esri ASCII & Binary Grid, Oracle Spatial GeoRaster
> Remote Sensing: ER Mapper ECW / ERS, ERDAS IMAGINE,
ERDAS RAW
•
Mehr als 50 Rastertransformer
> Extraktion von Raster-Eigenschaften
> Vektor-Raster / Raster-Vektor-Konvertierungen
> Kanal- und Palettenbearbeitung
> Zellwert-Operatoren
> Geometrische Operatoren
Neuerungen
•
Formate
> Google WebP
•
Formate (Aktualisierungen)
> AutoCAD DWG/DXF und RealDWG (Unterstützung für Rasterdaten)
> Esri Geodatabase (Unterstützung für Raster Catalog)
> JPEG (Unterstützung für Exif-Dateien; Exchangeable image file
format)
•
Transformer
> MapnikRasterizer
> RasterAspectCalculator
> RasterSlopeCalculator
Non-spatial
•
•
•
•
Nicht-raumbezogene Daten
Zusammenführen von Geschäftsdaten und geographischen Daten
Räumliche Zusammenhänge verstehen
Formate
> Excel, Textdateien (CSV), Datenbanken
•
Aufgaben
> Geokodieren, Daten zusammenführen und anreichern
•
Transformer
> Filter und Tester
> Mapper
> AttributePivoter
XML, GML und JSON
•
•
•
XML und GML als Austauschformate zwischen Anwendungen
JSON als das Webformat (Esri-JSON, GeoJSON)
XML, GML und JSON werden in FME sehr ähnlich verarbeitet
> Transformer-Konzepte sind nahezu identisch (Flattener, Extractor,
Templater, Updater, Validator)
Neuerungen
•
•
•
AIXM 5.1 Writer
INSPIRE (Reader und Writer)
GML Writer
> Schema-basiertes Schreiben (XSD-Schemadatei)
Datenbanken
•
Das Lesen und Schreiben von Daten in Datenbanken ist ebenfalls
ein häufiges Einsatzszenario für FME
•
•
Daten können geschrieben, aktualisiert und gelöscht werden
Datenbanken
> Geodatabase
> Microsoft SQL Server
> Oracle
> PostGresSQL
> SQLite
•
Datenbank-Transformer
> SQLCreator/ Executor, Joiner, …
Neuerungen
•
Postgres und PostGIS (Reader/ Writer)
> SQL Begin und End Parameter
•
Oracle
> Index-Erstellung für “non-spatial” Spalten
•
IBM Informix
> FME 64-Bit Version
•
Transformer
> DatabaseUpdater
> DatabaseDeleter
Cloud
•
Formate (Auswahl)
> ArcGIS Online Feature Service
> Amazon DynamoDB
> Amazon Redshift (Tech Preview)
> Google Cloud SQL Spatial/ Non-spatial
> Google Maps Engine (GME) Tables
> Windows Azure SQL Database Spatial/ Non-spatial
•
Transformer
> S3Uploader, S3Downloader
> SNSSender
> SQSReceiver, SQSSender
> WebSocketSender, WebSocketReceiver
Unzählige Erweiterungen und Verbesserungen bei Formaten
und Transformern
FME Workbench und FME Data Inspector
FME Workbench
FME Workbench
•
•
Beschriftungen (Tabellen, Hyperlinks, Gestaltung)
•
•
•
•
Neue, dynamische Ports
Konsistente Benennung der
Ein- und Ausgabe-Ports
Transformer-Symbole
Zwei Selektionsmodi
Anpassungen bei der Hilfe
FME Workbench
NULL
•
•
FME unterscheidet nun zwischen
> Empty
 Es ist kein Attributwert vorhanden (“leerer String”).
> Missing
 Das Attribut existiert nicht.
> NULL
 Der Wert des Attributs ist <null>.
Wesentliche Vorteile
> Beim Einlesen werden Attribute ohne Wert nicht länger als Feature
ohne betreffendes Attribut eingelesen, sondern als Attribut mit dem
Wert NULL.
> Beim Schreiben werden Attribute mit NULL-Wert auch als NULL-Wert
in das Feld eingetragen.
NULL
•
Ausgewählte Reader und Writer (z.B. Oracle, SQL Server, CSV,
Access) unterstützen NULL-Werte.
> Vollständige Liste siehe FMEpedia.com
•
Transformer mit NULL-Unterstützung (Auswahl)
> AttributeClassifier
> AttributeCreator
> AttributeValueMapper
> NullAttributeMapper
> SQLCreator/Executor
> Tester (Transformer-Gruppe)
NULL im FME Data Inspector
FME Data Inspector
•
•
•
•
•
Neue Hintergrundkarten (MapBox & MapQuest)
Distanzen messen
Kopieren von Koordinaten in die Zwischenablage (im 2D-Modus)
Sortieren und Filtern in der Tabellenansicht
Export von Daten aus der geöffneten Ansicht
> „Save Data As“
> „Save Selected Data As“
FME Server
Verwaltung von Ressourcen (bisher)
•
Daten und Ressourcen, die für den FME Server nicht erreichbar
sind.
•
Ressourcen/ Daten hochladen zum Server
> temporär und gebunden an einen Workspace
X
Verwaltung von Ressourcen (in FME Server 2014)
•
Neues, zentrales Datencenter für
> Backup, Daten, Logs und temporäre Daten
> Zielordner für Ergebnisdaten
•
Daten zum FME Server hochladen
> Über Dialog hochladen (Browse)
> Per Drag & Drop im Browser*
> Beim Workspace publizieren
*Chrome Browser unterstützt das Hochladen ganzer Ordner
Verwaltung von Ressourcen
•
Beim Publizieren des Workspaces in der FME Workbench können
Ressourcen hochgeladen werden
> In ein Repository
> Als geteilte Ressource (shared resource)
Directory Watcher
•
Directory Watcher ist als Protokoll des Notification Service
realisiert
> „Publication - Topic - Subscription“ - Pattern
•
Beim Hinzufügen einer Datei in ein Verzeichnis wird ein Ereignis
ausgelöst, z.B.
> Workspace wird gestartet
> E-Mail Benachrichtigung
•
Das Verzeichnis kann dabei auf dem
Server liegen oder auf ein
Netzlaufwerk verweisen (UNC-Pfade).
Scheduling (Neuerungen)
•
Automatischer Prozessstart
> Zu vordefinierten Zeiten
> In bestimmten Intervallen
•
Neu: „Topics to Publish to on“
> Wenn Prozessdurchlauf erfolgreich oder fehlgeschlagen
> Z.B. automatische E-Mail über erfolgreiche Ausführung des
Prozesses
Migration, Backup und Upgrade
•
Backup/ Migration kann über die Nutzeroberfläche des Servers
ausgeführt werden
•
•
Automatisches und manuelles Backup
Komponenten des Backups
> Repositories
> Notifications
> Schedules
> Security
> Services
•
Zusätzliche manuelle Sicherung
von FME Server Konfigurationsdateien
Weitere Neuerungen
•
Windows Authentifizierung
> Single-Sign-On
•
FMEServerJobSubmitter
> Verschachtelung von Prozessen ist möglich, so dass nur eine Engine
belegt wird.
•
REST API
> Erweiterte, feingranulare API
> Überarbeitete Dokumentation
> Alte REST API kann weiterhin genutzt werden
•
Echtzeitprotokollierung
> Logfiles einsehbar während ein Job läuft
> Monitoring von Notifications
Stay Up-to-date with Nøthing!