BARC @ TDWI Speed Dating Datenintegration

Transcrição

BARC @ TDWI
Speed Dating Datenintegration
Status quo, aktuelle Entwicklungen und Fragen an
die Software-Anbieter
04.06.2008
Timm Grosser
Analyst
BARC
Agenda
14:45 - 15:15
Einführungsvortrag Datenintegration
15:15 - 15:30
Business Objects
15:30 - 15:45
IBM
15:45 - 16:00
Now!Consulting
g ((Informatica))
16:00 - 16:30
Pause
16:30 - 16:45
Oracle
16:45 - 17:00
Pentaho
17:00 - 17:15
SAS
17:15 - 17:30
Syncsort
17:30 - 17:45
Talend
17:45 - 18:00
Ab Initio
ab 18:00
Fragen an die Hersteller
2
Der Markt für Datenintegrationswerkzeuge
Spezialist
Anbieter liefert keine Datenbank oder BI-Frontend
Suite-Anbieter
Anbieter hat auch Datenbank und/oder BI-Frontends im
Portfolio
Open
p Source
Spezialisten oder Suite-Anbieter
http://www.barc.de/dwh
Ergebnisse aus den BARC Software Evaluationen
für Data Warehousing und Datenintegration
• Methodenkonvergenz
M th d k
ETL/ELT (Extraktion, Transformation, Laden): zyklische Überführung
und Anpassung großer Datenmengen
EAI (Enterprise
(E t
i Application
A li ti Integration):
I t
ti ) S
Systemübergreifende
t üb
if d
Prozessausführung durch direkte Übertragung kleiner Datenmengen
Föderation: Logische Sicht auf Datenquellen zur Abfrage,
Einbeziehung heterogener Datenquellen
• Unterstützung verschiedener Ansätze zur Umsetzung von
Datenintegration (ETL
(ETL, ELT)
• Breiteres Funktionsangebot durch Integration von Methoden zur
Verbesserung und Überwachung
Ü
der Datenqualität
• Entwicklung hin zu Datenintegrationsplattformen
Ergebnisse aus den BARC Software Evaluationen
für Data Warehousing und Datenintegration
• Performance und Skalierbarkeit weiterhin Thema in jedem Release
• Entwicklung zur SOA: Integrationsservices für Stamm-, Meta und
Bewegungsdaten in strukturierte und unstrukturierte Form
• Verbesserungen im Metadatenmanagement (Administration, Auswertung
und Austausch)
• Insbesondere die dimensionale Datenmodellierung wird von wenigen
Anbietern unterstützt
• Einbeziehung neuer Datenquellen wie RFID-Daten und Erweiterung der
Standardkonnektoren für Applikationen und Datenbanken
• Transformationen werden von allen Werkzeugen gut bis sehr gut
unterstützt
Open Source: Definition
Eine Software ist Open Source, wenn sie unter einer
anerkannten Lizenz der Open Source Initiative steht.
(htt //
(http://www.opensource.org)
)
Open Source: Lizenzen
• Open
O
Source
S
Initiative
I iti ti (OSI) ist
i t ein
i Kollegium
K ll i
zur Prüfung
P üf
und
d
Anerkennung von Open Source Lizenzen.
• Die Open Source
So rce Definition (OSD) ist der Standard an dem Open Source
So rce
Lizenzen durch die Open Source Initiative gemessen werden.
• Die wichtigsten Punkte der OSD

Copyleft: Veränderter Quellcode muss wieder veröffentlicht werden
Offener Quelltext (nicht-binäre Form)
Das Recht die Software zu kopieren und zu verbreiten
Das Recht die Software zu verändern und weiterzuverbreiten
Keine Einschränkung von Nutzerkreisen, Software und Technologien
Integriät des Quellcodes (neue Versionsnummer oder Name der Software)
• General Public License (GPL) und Lesser GPL (LGPL) sind die meist
p Source Lizenzen.
verwendeten Open
Open Source: Markttrends
• OS ist inzwischen in vielen Bereichen etabliert (Linux,
(Linux Apache Webserver,
Webserver
Red Hat Application Server, MySQL, …)
• Meist werden die Systeme nicht mehr von einzelnen Entwicklern oder
einer Community, sondern durch Unternehmen gesteuert
Professioneller Support
Roadmap, stabilere Entwicklung und Abschätzbarkeit der
L b
Lebensfähigkeit
fähi k it
• Zunehmend auch Übernahme von Open Source Unternehmen durch
kommerzielle Anbieter (Suse durch Novell
Novell, MySQL durch Sun)
• Seit einigen Jahren neben o.g. technischen Systemen auch Angebote im
g y
(ERP,
(
CRM),
) seit etwa 2001 auch erste
Bereich von Anwendungssystemen
Teillösungen für BI
• Im Bereich BI zunehmend Angebote von BI Komplettanbietern
Open Source: Geschäftmodell
• Wagniskapital
W
i k i l (L
(Laut 451group iim 1. Q
Quartall 2008 üb
über 200 Mi
Mio.
USD)
• Kostenpflichtiger Support mit garantierter Reaktionszeit und für
eine definierte Anzahl von Anfragen
• Zusatzleistungen wie Schulung und Beratung / Implementierung
• Subskriptionen: Funktional erweiterte Software, meist kombiniert
mit Schulungs- und Supportpaketen
• In geringem Umfang kostenpflichtige Partnermodelle
Open Source: Chancen
• Einfache
Ei f h B
Beschaffung:
h ff
Die
Di S
Software
f
k
kann schnell
h ll per D
Download
l db
beschafft
h ff
und ausprobiert werden.
• Community
Ungefilterter Kontakt zu anderen Anwendern
Entwicklung des Produkts nach Anforderungen aus dem
Anwenderkreis
• Erweiterbarkeit und Anpassbarkeit
• Offene Schnittstellen, daher gut in (Java-) Eigenentwicklungen integrierbar
• Kostenfreie Beschaffung und günstiger Support. Dies sagt jedoch nichts
über den TCO aus.
Open Source: Risiken
• Wirtschaftliche
Wi t h ftli h St
Stabilität
bilität und
dR
Reifegrad
if
d eines
i
P
Projekts
j kt iistt schwerer
h
einzuschätzen
• Zusätzliche
Z sät liche Risiken durch
d rch die verteilte
erteilte Entwicklung
Ent ickl ng in der Comm
Community
nit
• Problem des Betriebs durch mangelnde Support-Kapazität auf
Anbieterseite
• Rechtliche Problematik durch verschiedene Open Source Lizenzmodelle
• Kontrollverlust der IT / Wildwuchs durch unkontrollierte Beschaffung der
Lösungen
• Know how im relativ jungen OS-BI-Umfeld ist in geringerem Umfang
vorhanden im Gegensatz zu etablierten kommerziellen Lösungen
Marktüberblick Datenintegration – Open Source
Open Source
Hersteller
Apartar
Kinetics Networks, Inc.
Menta
OpenSys
ObjectWeb
Jedox
Pentaho
Talend
Produktname
Apartar
KETL
Jasper Tserv
CloverETL
Enhydra Octupus
Palo ETL
Data Integration (Kettle)
Open Studio
Ansatz
Spezialist ETL
Spezialist ETL
Suite - Code-Generator
Spezialist Code-Generator
Spezialist Middleware
Suite - ETL
Suite - ETL
Spezialist - Code Generator
Funktionaler Vergleich Open Source gegen kommerzielle
Software
• Breitere
B it
MethodenM th d
und
dA
Architekturunterstützung
hit kt
t tüt
zur Verarbeitung
V
b it
hochvolumiger Anforderungen
• Open Source Lösungen bieten ein offenes Entwicklungsframework
und richten sich eher an Entwickler individueller Lösungen
• Klare Defizite von Open Source Software im Bereich Host-Zugriff
und Verarbeitung von Host-Dateien
• Anbindung von Standardapplikationen (bspw. SAP ERP) bei
kommerzieller Software breiter unterstützt
Funktionaler Vergleich Open Source gegen kommerzielle
Software
• Vorteile
V
il von k
kommerzieller
i ll S
Software
f
iim Bereich
B i h
Metadatenmanagement, insbesondere im Austausch und
Auswertungsmöglichkeiten
• Wie auch viele kommerzielle Produkte setzen viele Open Source
Produkte für die Mehrbenutzerunterstützung und Versionierung auf
externe Werkzeuge
• Grundlegende Datenqualitätsfunktionen bei Open Source Software
vorhanden
Fragen an die Software-Anbieter
• Wie
Wi viele
i l IInstallationen
ll i
gibt
ib es iim d
deutschsprachigen
h
hi
R
Raum
(Referenzen)?
• Wieviel Prozent der Anwender nutzen das Werkzeug für Data
Warehousing?
• Welche Funktionen werden angeboten (ETL, EAI, EII,
q
, etc.)?
)
Datenqualität,
• Welche Schnittstellen gibt es?
• Welche Konzepte stellen Performance und Skalierbarkeit sicher?
Kontakt
Timm Grosser
Analyst
BARC GmbH
Steinbachtal 2b
D-97082 Würzburg
Tel. +49 (0)931/880651-0
Fax +49 (0)931/880651-28
[email protected]
www.barc.de
Enterprise Information Management
EIM
mehr als nur `ETL`
Bettina Wieser
Business Development Manager
EIM EMEA
BusinessObjects – an SAP company -
SAP, BO und FUZZY!
Alles Gute aus einer Hand…
WAS IST
ENTERPRISE INFORMATION MANAGEMENT?

Informationen sind nur so verlässlich wie ihre Quellen
SLIDE 3
COPYRIGHT © 2008 BUSINESS OBJECTS S.A. ALL RIGHTS RESERVED.
DATA SERVICES – DIE EIM-PLATTFORM
Business Intelligence Platform
Information Discovery & Delivery
Query, Reporting, & Analysis
Reporting
Analysis
Dashboards
Search
Advanced Analytics
Information Delivery
Predictive
Data Services Platform
Data
Integration
Business Applications
& Structured Data
Data
Quality
Metadata
Management
Unstructured
Data
Data Mart
Solutions
www
Cloud
Data
BUSINESS INTELLIGENCE – End2End
POA
IDD
Analysis
Planning, Consolidation, Scorecarding
Reporting
Enterprise
Information
Management
Master
Data
Mgmt
Source
Data
EII
ETL
Data Cleansing
Text Mining
Data Profiling
Metadata Management
Data Lineage
+ Impact
Analysis
Metadata
Manager
BI Plattform
DATENINTEGRATION –
DATA INTEGRATOR

Entwicklerproduktivität
–
Ein Entwicklungswerkzeug
–
Web-basierte Administration
–
Metadaten: Quelle bis Report
Skalierbarkeit
–
Services-basierte Architektur
–
Viele vorbereitete, wieder verwendbare Transformationen
–
Durchgängig parallelisiert und intelligente, verteilte Verarbeitung
Benutzerakzeptanz
–
SLIDE 6
Change Management: End-to-End Impact Analyse und Data
Lineage
DATENINTEGRATION –
RAPID MARTS

Vorgefertigte DWH Lösungen für Applikationen von SAP, Oracle, PeopleSoft u.a.
SLIDE 7
–
Beschleunigte Implementierung bei niedrigeren BI Gesamtkosten
–
Vorgefertigtes Datenmodell und Schema
–
Vorgefertigte ETL Prozesse
–
Vorgefertigte Universen und Berichte
Confidential and proprietary. Copyright © 2006 Business Objects S.A. All rights reserved.
UNTERNEHMENSWEITER DATENZUGRIFF

Grosse Bandbreite an Verbindungen zu Datenbanken, Applikationen, Legacy-Systemen,
File Formaten und unstrukturierten Daten
Databases:
•
•
•
•
•
•
•
•
•
Oracle
DB2
Sybase & IQ
SQL Server
Informix
Teradata
ODBC
MySQL
Netezza
Applications:
•
•
•
•
•
•
•
JD Edwards
Oracle Apps
PeopleSoft
Siebel
Salesforce.com
SAP BI
SAP R/3
• ABAP
• BAPI
• IDoc
Files/Transport:
•
•
•
•
•
•
•
•
•
Mainframe:
•
Text delimited •
Text fixed width •
EBCDIC
•
XML
•
Cobol
•
Excel
•
HTTP
JMS
SOAP (Web
Services)
ADABAS
ISAM
VSAM
Enscribe
IMS/DB
RMS
Both direct
and change
data
Unstructured
Data:
• Any text file
type
• 32 languages
Rapid Marts für z.B. SAP ERP (R/3)
Purchasing
•PO ranked listings
•Cycle times
•Purchasing performance
•PO history
•PO status
•Vendor performance
•Price analysis
•Exception reporting
Production Planning
•Bill of material explosion
•Routing explosion
•Where used
•Capacity planning
•Cost analysis
•Lead time
•MRP requirements
•Yield analysis
Accounts Payable
•Open payables
•Configurable periods
•Payment history
•PO/invoice reconciliation
•Checks issued
•Short-term cash outflow
•Department workload
•Financial effectiveness
Human Resources
•Employee benefits
•Eligibility and enrollment
•Salary comparisons
•EEO comparable worth
•Employee pay history
•Turnover analysis
•Employee events
•Vacation reporting
Project Systems
•Project costs
•Plan, actual, variance
•Earned value
•Progress analysis
•Material reservations
•Capacity planning
•Project schedules
•Project elements
Inventory
•Daily inventory trends
•Stock turnover/outages
•Batch management
•Inventory valuation
•Stock level optimization
•Expenditure
•Replenishment
•Make-to-order status
Cost Center
•Costs
•Allocations
•Plan, actual, variance
•Cost center hierarchies
•Cost element hierarchies
•Internal orders
•Fiscal year
•Reporting periods
Sales
•Bookings
•Returns
•Lifetime sales
•Delivery efficiency
•Delivery service levels
•Margins
•Discounting
•Backlog
Plant Maintenance
•Life time performance
•Bad actors
•Maintenance hours
•Planning efficiency
•Material consumption
•Damage analysis
•Downtime
•MTBR and MTTR
Accounts Receivable
•Aged receivables
•Configurable periods
•Largest balances
•Customer payments
•Clearing vs. invoices
•Dunning and credit
•Short-term cash flow
•Department workload
ÜBER 6000 KUNDEN, DIE SICH FÜR BO-EIM
ENTSCHIEDEN HABEN…
Confidential and proprietary. Copyright © 2006 Business Objects S.A. All
rights reserved.
Danke für Ihre Aufmerksamkeit!
Thank you!
Kontaktdaten:
Bettina Wieser
Business Development Manager
Enterprise Information Management EMEA
BusinessObjects Deutschland GmbH
-an SAP companyGeorg-Brauchle-Ring 62
80992 München
Tel. +49 (0)89 959493-120
Mobil +49 (0)170 560 4335
© SAP 2007 / Page 11
Information Management Software
Datenintegration: Open
O
Source
S
und
kommerzielle Lösungen im Vergleich
IBM Information
I f
ti Server
S
H ld G
Harald
Gröger
ö
Consulting IT Specialist
[email protected]
Speed Dating
BARC@TDWI
München, 04. Juni 2007
© 2008 IBM Corporation
Speed Dating Fragen
Wie viele Installationen gibt es im deutschsprachigen Raum (Referenzen)?
Wie viel Prozent der Anwender nutzen das Werkzeug für Data
Warehousing?
Welche Funktionen werden angeboten (ETL
(ETL, EAI
EAI, EII
EII, Datenqualität
Datenqualität, etc
etc.)?
)?
Welche Schnittstellen gibt es?
2
IBM Software für Information on Demand | IBM Information Server
Installationen Referenzen,
Installationen,
Referenzen Data Warehouse Nutzung
IBM führend bei Datenintegration, ETL und Datenqualität
IBM Information Integration solutions are used by more than 5000 customers. More
than
h 100 partners support these
h
solutions.
l i
Since its introduction, IBM Information Server has been installed by nearly 200
organizations worldwide.
3
Gartner Magic Quadrant
The Forrester WAVE™:
Gartner Magic Quadrant
Data Integration Tools Oktober 2007
Enterprise ETL, Q2 2007
Data Quality Tools Juni 2007
© 2007 Gartner, Inc.
© 2007 Forrester Research, Inc.
© 2007 Gartner, Inc.
Welche Funktionen werden angeboten (ETL,
(ETL EAI,
EAI EII,
EII Datenqualität,
Datenqualität etc.)?
etc )?
IBM Information Server - Bereitstellung von zuverlässigen Informationen
IBM Information Server
Datenqualität
Erkennen / Modellieren
von Informationsstruktur und –inhalt
ETL
Standardisieren, Verknüpfen und Korrigieren
von Informationen
Kombinieren und Restrukturieren von
Informationen
EII
Synchronisieren und
Vitualisieren heterogener Informationen
Plattform Services
EAI
4
Welche Funktionen werden angeboten?
Datenqualität: Schrittweise Analyse der Quelldaten
Verstehen
Bereinigen Transformieren
Liefern
Plattform
Parallel Verbindung Metadaten Admin Deployment
Analysieren der Quelldaten
Das Bild k ann nicht angezeigt werden. Dieser Computer v erfügt möglicherweise über zu wenig A rbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen.
Analysieren, Verstehen und Reports
Generierung von Metadaten
Quellen-übergreifend
Q ll üb
if d
Schrittweise Analyse
Spalten
p
((Datentypen,
yp , Füllungsgrad)
g g )
Primary Key (eindeutige Schlüssel)
Foreign Key (Abhängigkeiten)
Das Bild k ann nicht angezeigt werden. Dieser Computer v erfügt möglicherweise über zu wenig A rbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen.
Tabellen übergreifend (Abhängigkeiten)
Information Analyzer
5
Datenqualität: Standardisierung und Bereinigung
Verstehen
Liefern
Plattform
Bereinigung der Qualität
Kate A
A. Roberts
Fehlende Informationsstandards
Unerwartete / versteckte Daten in
einzelnen Feldern
416 Columbus Ave #2
#2, Boston
Boston, Mass 02116
Catherine Roberts Four sixteen Columbus APT2, Boston, MA 02116
Mrs. K. Roberts
416 Columbus Suite #2, Suffolk County 02116
Fehlende Daten
Duplikate
In das ETL GUI integriert
Investigate (Regelwerke)
( g
)
Standardize (Regelwerke)
Match Frequency
Das Bild k ann nicht angezeigt werden. Dieser Computer v erfügt möglicherweise über zu wenig A rbeitsspeicher, um das Bild zu öffnen, oder das
Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen
Sie das Bild möglicherweise löschen und dann erneut einfügen.
Reference / Unduplicate Match
• Passes, Blocking, Matching
Survive
MNS / WAVES
QualityStage™
6
Verstehen
Extrahieren, Transformieren und Laden
Liefern
Plattform
Transformation: Umfassende vordefinierte Funktionen
Performance:
Parallelisierung und Skalierbarkeit
Anbindung:
Unterschiedlichste Quellen / Ziele
g und Kapselung
p
g
Wiederverwend- Parametrisierung
barkeit:
Sequenzen:
Prozessabläufe / Fehlerbehandlung
Scheduling:
Definierte Termine und Zeiten
Latenzzeit:
Batch, Echtzeit und Services
Reports:
Prozessabläufe / automatisiert
Standards:
Information Services / SOA
Erweiterbarkeit
C++, Kommandos, Java, Commands
Überwachung:
GUI mit Monitor / Log / Grafik
Metadaten:
Übergreifende Information / Analyse
Qualität:
Analyse und Bereinigung integriert
DataStage®
7
EII: Verfügbarkeit aktuellster Daten
Verstehen
Liefern
Plattform
Synchronisierung: Konsistente
Informationen
I f
i
Föderation: Eine grosse virtuelle
Datenbank
D
b k
Zugriff auf unterschiedliche und
verteilte Informationen, als befänden
diese sich in einem einzigen System
Echtzeitzugriff von
Analyseanwendungen auf integrierte
Informationen
SQL
Classic Federation
Server for z/OS
Abgleich zwischen Datenbanken,
Hochverfügbarkeit, Migration
Datenänderungen starten
Anwendungen
SQL
Content
Federation Server
Information Integrator
Content Edition
An
Anwendung
IBM IInfoSphere
f S h
Event Publisher /
CDC (DataMirror)
Replication Server
8
Datenqualität + ETL + EII + Plattform
Analysieren der Quelldaten
Kardinalität, Frequenz,
Abhängigkeiten (Cross)
Analysieren, Verstehen und Reports
Quellen übergreifend
Quellen-übergreifend
4711
Peter
Berk
22587
Hamburg
Kennedy 13
0000
Peter
Berg
22587
Hamburg
Kennedystr.
31
Berg
2258J
Hamburg
Kennedystr.
13
0815
Verbesserung
g der Qualität
Fehlende Informationsstandards
Duplikate, Referenz
Match, Selektion
4711
Peter
Berg
22587
Hamburg
4711
13.01.2008
13 342
4 11
4711
21 12 200
21.12.2007
43
375
0815
15.09.2007
5 228 769
4711
Peter
22587
4711
04.06.2008
Kennedystr.
Fehlende Daten / Duplikate
13
Extraktion, Transformation,
Laden
Joins Aggregation
Joins,
Aggregation,
Von Daten zu Geschäftsinformationen
Geschäfts-Regeln
Berg
Vordefiniert, wiederverwendbar
Hamburg
Kennedystr.
13
5 246 486
Aktuellste Daten
Transparenter Zugriff
4 925 528-
Echtzeitzugriff durch Föderation
Echtzeit-Daten
Konsistente Daten durch Synchronisierung
4711
9
Peter
Berg
22587
Hamburg
Kennedystr.
13
320 958
Schnittstellen und weitere Plattform Services
IBM Information Server – Information Services
Verstehen
Liefern
Plattform
Oracle Applications
pp
SAP BW
JD Edwards EnterpriseOne
SAS
PeopleSoft Enterprise
Siebel
Salesforce.com
Datenbanken, Files,
Echtzeit, ERP, CRM, ...
Variable Parallelisierung
Entkoppelte Entwicklung
10
Admin-Konsole
Report-Konsole
Geschäfts
Definitionen
Geschäfts-Definitionen
Abhängigkeits-Analysen
Informations
Services
Informations-Services
Information Server Blades
Verstehen
Von Excel Definitionen zu ETL Jobs
Liefern
Plattform
Excel mit Geschäftsregeln
Komplettierung in FastTrack
ETL Job Generierung
IBM Information Server FastTrack
11
Bereitstellung von zuverlässigen Informationen wann und wo sie gebraucht werden
Erkennen / Modellieren
von Informationsstruktur und –inhalt
Standardisieren, Verknüpfen und Korrigieren
von Informationen
Kombinieren und Restrukturieren von
Informationen
Synchronisieren und
Vitualisieren heterogener Informationen
Plattform Services
12
Data Integration mit
Informatica
Wie Informatica Sie dabei
unterstützt den Wert Ihrer
unterstützt,
Unternehmensdaten zu maximieren
Informatica vertraulich
1
Die Herausforderung
Kosten der Datenfragmentierung
• Laut TDWI kostet schlechte
Datenqualität US-Firmen jährlich ca.
600 Mrd. US$
• 55% aller
ll Fi
Firmen werden
d auff h
hohem
h
Niveau Mitarbeiter und Budget in
das Thema Datenintegration
investieren (TDWI)
• 60% der IT-Budgets werden
momentan für Integration
ausgegeben (Ventana Research)
• “Ohne eine ganzheitliche
Strategie werden die IntegrationsStrategie…
Integrations
kosten unverhältnismässig hoch
bleiben” (Gartner)
2
Die Lösung: Datendienste
Komplexität entwirren
• Zugriff auf Daten in
unterschiedlichsten Quellen,
umfassende Verfügbarkeit
• Abgleich
g
der Datendefinitionen
hinsichtlich Konsistenz und
Wiederverwendbarkeit
• Zertifizierung der
Datenqualität, Gewährleistung
von Exaktheit und Vollständiget
keit
• Umwandlung von Daten aus
allen Formaten in produktives
Kapital
3
Die Produktplattform von Informatica
Den Datenintegrationszyklus automatisieren
Prüfen, Überwachen, Darstellen
Datenkonsistenz gewährleisten, Auswirkungen analysieren, kontinuierlich die Qualität
überwachen
Data Explorer
Zugreifen
g
Auf jedes
System, in
Batch oder
Echtzeit
Data Quality
Erkennen
Bereinigen
g
Daten von jeder
beliebigen
Quelle finden
und analysieren
Alle Datentypen
validieren,
berichtigen und
standardisieren
Integrieren
g
Alle Datentypen
transformieren
und abgleichen
Liefern
Jederzeit die
richtigen Daten
im richtigen
Format
b it t ll
bereitstellen
PowerCenter
PowerExchange
Weiterentwickeln & verwalten
Entwicklung und Zusammenarbeit auf gemeinsamem Repository und mit geteilten Metadaten
4
5
6
7
8
9
10
11
<Insert Picture Here>
Data Integration
Alfred Schlaucher
Data Warehouse Architect, BU Database
Entwicklung von Oracles
Integrationslösungen im DWH
Standalone Tool
Pervasive Service
Batch ETL / ELT
Right Time Delivery
Oracle Centric
Passive Data Quality
H t
Heterogeneous
Active Data Quality
Convergence
Pervasive information management services
Pervasive Service
Standalone Tool
Goal
Achieved by
y
Create one pervasive data management service
for database users
9
• One Repository
Â Embed the repository in the Oracle database
• One User Interface
Â Leverage Oracle’s IDE
Â Create a single tool for all database development and
design with one repository
9
• One Install with the database
Â Install all required components at database install time
Transform and Deliver
Transform any data and deliver through data services
Batch ETL / ELT
Batch ETL / ELT
Goal
Right Time Delivery
Achieved by
y
Deliver data through SOA to the right users at
the right time in a heterogeneous
environment
11.2
• Enable heterogeneous data transformations and
processes for an SOA architecture
Â Allow publishing of any process to a web service
Â Support deployment of web services on non-Oracle
platforms
9
• Full spectrum of data integration patterns
Â
Â
Â
Â
Â
ETL/ELT
Data Federation (EII)
Data Replication
Message based integration (EAI)
Change Data Capture
Access
Heterogeneous data integration
Heterogeneous
Oracle Centric
Goal
Achieved by
Deliver heterogeneous information integration
to Oracle database customers
• High performance native read and write to and
Â Native data access using Knowledge Modules (KM)
Â Allow creation / import / maintenance of KMs
Â Data virtualization using Database Gateways
11.2
• Heterogeneous Change Data Capture
Â Native change data capture using KMs
Â Partnerships (Golden Gate, Attunity, DataDirect)
11.2
• Generate and maintain BI tool metadata on any
Â Derive and maintain Oracle BI EE metadata from any
11.2
from any platform
platform
data object in OWB
Â Exchange metadata with any BI tool
Â Deliver attribute level lineage and impact analysis from
source to report with any BI tool
Governance
Active data quality in the database tier
Passive Data Q
Quality
y
Goal
Active Data Q
Quality
y
Achieved by
y
Make data quality smart and apply it to specific
applications via the database tier
9
• Active data quality
Â Active auditing and monitoring solutions
Â Data quality fire walls
• Applied data quality
Â Deliver pre-built content for specific domains
Â Verticals (Retail, banking, telco etc.)
Â Horizontals (MDM for customer, product
etc )
etc.)
9
• Smart data quality
Â
Â
Â
Â
• Integrated data quality
Â Single repository for DQ, ETL and data modeling
Â Auto-generate data corrections
Â Validate data rules
Self learning data quality engine
Auto-tuning of algorithms and algorithm extensibility
Leverage Oracle Data Mining for data quality
Deterministic and probabilistic algorithms
Oracles Integration Lösungen
die am häufigsten eingesetzte ETL-Lösung
ETL Lösung
• Oracle Database – Zentriert
• Oracle Warehouse Builder (OWB)
• Any Database
• Oracle Data Integrator (ODI)
• Native-Access zu nahezu allen Plattformen
• Integriertes Data Quality Paket
p
y
• Universelles Metadaten-Repository
• Mehr als 10000 Installationen
• Bestes Preis-/Leistungsverhältnis
BI
Application
pp
Reporting
Dashboards
Q
Query
Business Logic
Consolidation
Performance
M
Measurement
t
Data
Quality and
state
reporting
Business Access Layer
Data Delivery Layer
End User
Specific
(Data Mart)
Reg
Zeit
Org.
Linie
Prod
Rel. Structure
Embedded
Data Mining
Multidimensional
De-Normalization
(
(Enterprise)
p
)
Normalized
Datastore
(DWH)
Pre aggregated
generic and public
measures.
Also historic and
dimensional data.
Normalization
Stage
Automated and
embedded
rule based
Data Quality
Integrated and data centric
c data moveme
ent
Service Orien
S
nted Infrastru
ucture
Realtime
interaction
Inventory
off all
ll
obects
Business,
semantical
technical
metadata
No 1:1 Copies, Reduction of Complexity,
Cleanse, checks, transformations
Realtime
interaction
Any operational system
core processes
Unified
Generic
Repository
Integrierte Funktionalität
Single User Interface
Data
Modeling
Data
Compliance
Data
Integration
Data
Q alit
Quality
Relational Modeling
Dimensional
Modeling
Analytical Modeling
Life
Life Cycle / Change
Management
Data Profiling
Anomaly Detection
Enforce Business
Rules
Audit
Audit
Lineage + Impact
Analysis
Bulk ETL / ELT
Event driven
Message-driven
DB Distribution Query
Replication
Replication
Standardization
Match/ Merge
De-duplication
Enrichement
Unified Metadata Management
Techniken und Lösungen auf der Basis der Oracle Datenbank
Mission Critical Applications
Packaged
Applications
Data
Movement
Master Data
Management
Data
Governance
Unified Database Development IDE
Business
Intelligence
Content
Management
Data
Warehousing
Data
Migration
Rel. Data Modeler
Dim. Data Modeler
SQL Worksheet
PL/SQL Debugger
Data Flow Designer
Proc Flow Designer
Data Profiler
Data Auditor
Dependency Analyzer
Metadata Browser
SOA Deployment in Heterogeneous Environments
Integration
g
Service
Transformation Service
Data Quality
y Service
Metadata Service
Integration Service Foundation
Data Integration
Data Quality and Profiling
Database Core Services
Consolidation (ETL)
Change data capture
Data Profiling
Data Auditing
Data Dictionary
PL/SQL
Federation (Gateway)
Archive/Restore (ILM)
Matching/Merging
Data Rules
SQL Engine
OLAP Engine
Replication (Streams)
Real time
Standardization
Intelligent Clustering
Data Mining
RAC / Grid
Unified Metadata
Extensible
Common Models
Lineage/Impact
Change Management
Metadata Exchange
Data Connectivity
Relational Databases
Non-Relational DBs
Various File Formats
XML Data
Packaged Applications
Standard Msg Formats
Message Queues
Semi-Structured Data
Oracle or 3rd Party: Applications | Analytics | Identity | SOA Platforms | Data Grid | Content Management | Search
1010
Vorteile des Datenbank-basiertes ETL
durch OWB
native SQL /Set based
PL/SQL / row based
Multiple Insert, Merge
Table Function
Object Relational
Embedded Java
XML DB
Streams + CDC
•
Mischformen bei komplexen
Anforderung
•
100% Oracle
Datenbank-Ausnutzung
•
g
Wiederverwendung
•
Schlankere Ladeläufe
• Weniger Umwege / „On
Place“
• Hardware
• Wiederverwendung von Know How
• Homogene Sprachenanwendung (SQL)
•
Minimierung Netzlast
•
Bessere Performance
Oracle Warehouse Builder
Heterogenität im Oracle Data Warehouse
OWB 11gR2 (Aug
(A
08)
System A
System B
Oracle OLTP
native SQL
TNS
System C
SQL Server
Ser er
native SQL
Agent
System D
DB2
Any
native SQL
Agent
native SQL
Agent
O
Oracle
l DWH
O
Oracle
l Warehouse
W h
Builder
B ild
Service Oriented
Systems
Agent
native SQL +
PL/SQL
h hk
hochkomplexe
l
Transformationen
(Set Based / Row based)
Data Quality Management Process
Data Quality
Dashboard
Data Audit
Data Profiling
Generation of
Correction
Mögliche Integrationszenarien
Klassische Datenbank-Anwendung
Erzeugen, Befüllen und Pflegen von Oracle OLAP Strukturen
Unterstützen beliebiger BI-Werkzeuge
• Full design support for complex OLAP
objects
• Life-cycle support for managing OLAP
objects
• Transparent loading of OLAP using
standard OWB constructs
• Flexibility in loading strategies
Data
(incremental / replace)
Sources
• End-to-end lineage
Reporting capabilities for
Oracle OLAP
Siebel
CRM
Load and Build
Load Data
Oracle
EBS
Oracle
OLAP
Data Transformations
using OWB ETL
Other
Sources
Enable
Summary
Management
Create ETL
SAP/R
3
OWB
Repository
Import Metadata
M
es
sa
g
e
Q
u
e
u
es
Create Objects
Relational Star
PeopleSoft
Master Data Management
Anwendung von OWB Data Profiling und Correction Rules
Data
Sources
Siebel
CRM
Oracle
EBS
Validation with pre-built
pre built rules
Connector
OWB Repository
Connector
CDH
Rules
Connector
SAP/R
3
Connector
Target
Oracle Master Data
Management
CDH
Interface
PIM
Rules
Connector
UCM
Rules
Corrected and
validated data
ready for MDM
master
PeopleSoft
Connector
UCM
Interface
Connector
Other
M
Sources
es
sa
g
e
Q
u
e
u
es
OWB In-Database Processing
PIM
Interface
Validate Rules
Correct Data
MDM
Base
Tables
Fusion Applications
Migration von Anwendungen
Fusion
us o Database
atabase ((B))
Source Database (A)
Staging (A’)
Finalize
Custom
Source Tables
Source Tables
Fusion Tables
CDC
OWB
Redo Logs
Incremental
Replication
Source Change Logs
Upgrade Mappings
Fusion Services
MDS
IDM
Security
DM
AMX
Metadaten-Support im BI-Environment
Integrating with OBI SE/EE (Oracles Business Intelligence Suite)
Data
Sources
Oracle
Warehouse Builder
Oracle BI EE
Siebel
CRM
Data
Data
Data
Warehouse
Oracle
EBS
Other
Sources
Dashboards
OBIEE
Enterprise
Semantic Layer
(RPD)
ETL
Data Objects
Data Quality
SAP/R
3
Metadata
Database
Repository
BI EE
Server
Distribute
Metadata
PeopleSoft
OBI SE
End User Layer
Ad-Hoc Reports
Lineage & Impact
Change Propagation
Runtime Statistics
18
Gemischtes Szenario aller ETLLösungen von Oracle
ODI
OWB
ODI UI
Design ODI
Interfaces and KMs
ODI
Repository
OWB UI
Import any interface
from ODI repository
OWB
Repository
R
it
Maps
Interfaces
Verify
interfa
ce
Add
OWB
Xf
Xforms
Deploy
map to
J2EE
Start
map
p
Verify
ODI
KM
Apply
KM to
Map
Deploy
map to
J2EE
Start
map
KMs
KMs
Import any KM
from ODI
Execute any ODI interface
J2EE
Agents
Execute on any platform
[email protected]
040 89091-132
89091 132
Komponenten
OWB
Control Center
Change Manager
Datamodeler
Scheduler
Data Viewer
Mapper
Repository Browser
Runtime Audit
Experts Macros
Experts-Macros
Rules Editor
Dependencies
p
Process Editor
Data Profiler
IntegriertesData Profiling mit OWB
Methoden
Die
operativen
Daten
Feintuning zu
den Analysemethoden
Protokollierung
laufende
Analysen
Drill Down zu den operativen Daten
ETL Präsentation für TDWI München
Ingo Klose, Senior Consultant
Agenda
Pentaho - Einführung
P t h Data
Pentaho
D t IIntegration
t
ti (K
(Kettle)
ttl )
Produkteinsatz und Verbreitung im deutschen Markt
Anwendungsfälle
Verfügbare Funktionalitäten
Performance- und Skalierungs-Highlights
Weitere Informationen
Pentaho - Einführung
Kommerzielle Open Source-Alternative für Business Intelligence (BI)
Gründung
g im Jahr 2004: Pionierrolle im Bereich der kommerziellen Open
p Source BI
Große nachweisbare Kundenbasis; breites Spektrum an BI/DW-Installationen
Management – Erfahrene BI- und Open Source-Experten
von Business Objects,
b
Cognos, Hyperion, JBoss, Oracle,
l Red
d Hat, SAS
Aufsichtsrat – große Sachkenntnis und Erfolge im Open Source-Bereich
Larry Augustin – Gründer von VA Software, an der Prägung des Open Source
Source-Begriffs
Begriffs
beteiligt
New Enterprise Associates – Investoren bei SugarCRM, Xensource usw.
Index Ventures – Investor bei MySQL,
y Q , Zend usw.
Benchmark Capital – Investor bei RedHat, MySQL usw.
Pentaho Data Integration (Kettle)
Seit 2005 als Open Source verfügbar
D weltweit
Das
lt it populärste
lä t O
Open
Source Daten-Integrations-Projekt
Im Durchschnitt mehr als 12.000
Downloads pro Monat
Große, weltweite Community
Reifes Produkt der 4. Generation
Eigentum, geleitet und gesponsert
von Pentaho
Verfügbar unter der freien LGPL
Open Source Lizenz
Open-Source-Lizenz
Produkteinsatz und Verbreitung im deutschen Markt
Produktiver Einsatz in vielen Bereichen
Kleine und mittelständige
g Unternehmen
Großunternehmen
Schnelle Produktentwicklung durch
Investition in Pentaho-Entwickler und
starke Beteiligung der Community
“Contribution-freundliche”
Contribution-freundliche Architektur
Ungefähr 5% der Anwender kommen
aus dem deutschsprachigen
p
g Raum ((ca.
500)
2 der 5 größten deutschen Unternehmen
sind Pentaho-Kunden
Pentaho Kunden
Anwendungsfälle
Pentaho Data Integration wird
hauptsächlich im Data-WarehousingData Warehousing /
ETL-Bereich eingesetzt
Veröffentlichte Beispiele:
Mit der gesamten Pentaho Open BI Suite
Unionfidi S.C., MySQL AB, Close
Premium Finance U.K.
Gewonnene Kunden nach
Auswahlverfahren gegenüber proprietären
BI Tools
Lifetime Networks (Business
Objects/SAP)
ZipRealty (Microstrategy)
Extraktion
Relationale Datenbanken,, Text-Dateien,,
Excel-Dateien, Web Services, XML, MS
Access, LDAP, .ARFF-Dateien, Mondrian
(Pentaho OLAP Technologie)
Transformation
Über 80 im Standard verfügbare
Transformations Funktionen
Transformations-Funktionen
Unterstützung für kundenspezifische
Java-Script-Funktionen
Unterstützung für kundenspezifische
Funktionen (Plug-In Technologie)
Laden
Relationale Datenbanken, Text-Dateien,
Excel-Dateien, XML, MS Access
Verfügbare Bulk-Loader für einige
Datenbanken
Datenqualität
Eigene Datenqualitätsfunktionen geplant
für dieses Jahr
Datenqualität-Plug-Ins bereits heute von
Pentaho Partnern verfügbar
Verfügbare ERP-Zugriffsmöglichkeiten
von Pentaho Partnern und CommunityMitgliedern
SAP
Navision
Peoplesoft
JD Edwards
Ed
d
Oracle ERP
SugarCRM
g
Performance- und Skalierungs-Highlights
Parallel-Verarbeitung und Clustering
Trennung von Daten und Metadaten
Datenbank-Spezifische Optimierungen
Unterstützung für Datenbank-Partitioning
Unterstützung für Datenbank-Bulk-Loader
Datenbank Bulk Loader
Optimiertes Laden von Textdateien mit festen
Satzformaten und CSV-Dateien
Kundenbeispiele
Accor Hotels – laden von 50 GB neuer Daten pro
Tag (parallel auf einer Sun UltraSPARC)
Flemish Traffic Center – hinzufügen
g von 2
Millionen Zeilen pro Tag in ein Data Warehouse
mit 3 Milliarden Zeilen in der Faktentabelle
Zusätzliche Features
Integrierter Debugger
Teamfunktionen in der Entwicklung
Unterstützung von sog. Junk and SlowlyChanging Dimensionen
Cross-platform – Windows, Linux, UNIX, Mac
Pentaho Subscription
Weitere Informationen
Kettle Projektseite: kettle.pentaho.org
F
Forum:
f
forums.pentaho.org
t h
Kunden-Beispiele: www.pentaho.com/about/customers
Schulungen: www.pentaho.com/services/training
Subscription / Support: www.pentaho.com/subscriptions
Pentaho-Partner: www.pentaho.com/partners
Vielen Dank für Ihre
Aufmerksamkeit
Ingo Klose, Senior Consultant
SHS VIVEON AG
[email protected]
P
Prozesse
nachhaltig
hh lti modellieren
d lli
Datenintegration mit SAS
Michael
c ae Herrmann
e a
SAS Deutschland
BARC@TDWI, 4.6.2008
Copyright © 2008, SAS Institute Inc. All rights reserved.
Moderne Datenintegration: Aspekte
Designwerkzeuge
Error-Handling
+ DQ
Management
des Codes
Scheduling +
Batch-Betrieb
Prozessmanagement
+ Dokumentation
2
3
Transparenz in den Prozessen
Wo kommen die Daten her (Ursachenanalyse)?
(
)?
Wo gehen die Daten hin (Auswirkungsanalyse)?
4
Datenzugriffe (Auszug)
SAS
S
S DI Server
S
ermöglicht einfachen
f
wizardgesteuerten Zugriff auf eine Vielzahl von
Datenquellen und -zielen:
zielen: von Dateien
und relationalen DBMS bis zum ERP.
File formats: text files, standard and delimited,
XML and
d standard
d d flat
fl files.
fil
R d and
Read
d write
i other
h
external data representations such as Binary,
Hexadecimal, Octal, EBCDIC and ASCII.
Database sources: Microsoft SQL Server/PC,
Microsoft Access, Microsoft Excel, Oracle
native/XML, Informix, Generic ODBC, Sybase,
Teradata, IBM DB2 zOS/Server/PC, MySQL, SAS,
SAS/SHARE SAS Scalable
SAS/SHARE,
S l bl Performance
P f
D t
Data
Engine.
Enterprise Resource Planning systems: SAP BW,
SAP R3,
R3 Siebel,
Si b l Oracle
O l Applications,
A li ti
P l S ft
PeopleSoft.
Mainframe database connectivity (OS/390 and
z/OS): IBM DB2, VSAM (KSDS and ESDS), ISAM
files, IMS, CA-IDMS, ADABAS, CA-Datacom,
AS400 supported
pp
via ODBC,, COBOL,, Teradata,,
Oracle, PC files.
5
SAP-Integration: Architekturvarianten
SAS System
S t
SAP System
S t
Querycubes
ODBO (MDX)
SAP BW
SAS ABAP
RFC
SAS
OLAP
Server
RFC-Server
SAP D t
SAP-Daten
R/3
SAP Metadaten
SAP Tabellen
SAP Infocubes
SAP ODS / InfoObjects
Server-Side Join
SAS
Solutions
SAS-Daten
Call-RFC
C
ll RFC
Flatfiles
DB-Connect
6
Di SAS® Enterprise
Die
E t i Intelligence
I t lli
Platform
Pl tf
Data Integration: High-end mit über 30 Jahren Erfahrung
7
5 Schritte zur besseren Datenqualität: Lebenszyklus
• Dateninformationen
• Kennzahlen
• Problemidentifikation
• Statusprüfung
• Planungsgrundlage
• Maßnahmencontrolling
• Reduktion Projektrisiko
• Transparenz
• Datenanreicherung
• Datenergänzung
• Standardisierung
• Validierung,
Validierung Parsing
• Dublettenerkennung
• Haushaltsidentifikation
• Datenzusammenführung
• Datenkorrekturen
8
Die SAS® Data Quality Lösungen: das Prinzip
Data Steward
SAS®
Anwendungsentwickler
SAS® Quality
Knowledge Base
dfPower Studio
Fachbereich
SAS®
Enterprise
DI Server
QKB
IT Bereich
…themen- und
länderspezifisch!
SAS Data Quality Framework inkl.
inkl Analytics
9
Auff SAS® Data
A
D t Integration
I t
ti setzen
t
mehr als 70 deutsche Top-Unternehmen…
10
Nutzen von SAS Data Integration
Wartbarkeit komplexer und sehr großer
g ((modelliert statt kodiert))
Datenmengen
Transparenz durch Metadaten + Code
skalierbare Performance (Grid)
deutschsprachige Frontends
SQL-Know-How nutzend, easy-to-use
Investitionsschutz: bewährt, robust,
flexibel, plattform- und herstellerneutral
g
Datenqualität
q
von DataFlux®
integrierte
„zukunftssicher, weil SAS…“
11
Copyright © 2006,
2008, SAS Institute Inc. All rights reserved.
12
Syncsort
Incorporated
2004
©©
Syncsort
Incorporated
2008
© Syncsort Incorporated 2008
1
1
Über Syncsort Incorporated
DMExpress baut auf einer soliden Basis auf
Speed
Weltweiter
Topservice & Support
Eingesetzt bei über 90%
der Fortune 100 Unternehmen
Etabliert bei über 12.000
Kunden
DMExpress
Mehr als 40 Jahre Entwicklungserfahrung für High Performance Software
2
DMExpress – IT Herausforderungen
As reported by Forrester Research
Geschäftsapplikationen
stellen ansteigende
Herausforderungen an die
Unternehmen
Daten-Repository wächst
pro Jahr
um ca. 50% p
35% der Applikationsdaten
liegen als Duplikat vor
2006
2005
Jeder erlebt diesen Trend.
Zusammen können wir helfen, diese Auswirkungen zu analysieren,
Quantifizierung
Q
g für Verbesserungen,
g , und Lösungen
g zu liefern.
3
Bereitstellung auftragskritischer
Anwendungen
DMExpress
Einsatzmöglichkeiten
Monatsumsatz
WochenData-Marts
umsatz
je
g
Betriebliche Abteilungen
Vertr
Vertr.
Regelmäßige Berichte
Monatsumsatz nach
Produkt
Anwendungen
Finanzwesen
Rechnungen
Vertrieb
Auswahl
Berechnung
ETLProzess
Lohn /
Gehalt
Marketing
Ansammlung
Bereit für
Cubes
Data-Warehouse
Bereinigen
Umformatieren
Filtern
Bearbeiten
Legacy
Statistische
Analyse
DataMining
Detaillierter
TransaktionsVerlauf
Decision-Support
Andere
Applikationen
Hybrid-Strukturen OSS
Update-Transaktion
CRM
Online Datenspeicher
Weblog
g
Editor
Web
Weblogs
Alternative
Speicherung
Hierarchische
Speicherverwaltung
4
DMExpress - Produktstruktur
GUI –
Workstation
WORKSTATION
Micro Focus
Mainframe
Transaction Option
(MTO) Support
MTO
GRID
ADM
TARGET
SRC
IMPA
SER
RVER
MTO
SOURCE
ADM
SRC
TARGET
Impact Analysis
SOURCE
Advanced
Datamanagement
Package
DMExpress
Base
DMExpress
Base
5
DMExpress - Technologie
Transformationen entwerfen
Transformationen ausführen
Sofort
Später
Auf Ihrem PC
Auf Servern
In Skripts
Aus Ihren Programmen
Tasks erstellen
Aufträge erstellen
Aufträge planen
Transformationen definieren
Metadatengesteuert
Patentierte High Performance Algorithmen
Liest direkt
Transformiert Daten
Schreibt direkt
verwertbare
INFORMATIONEN
RohdatenEingang
Datenbanktabellen
Flatfiles
Pipes
Puffer
Spreadsheets
Datensätze im Arbeitsspeicher
XML-Dateien
Sortieren
Zusammenführen
Verknüpfen
Aggregieren
Kopieren
Filtern
Berechnen
Überprüfen
U f
Umformatieren
ti
Datenbanktabellen
Flatfiles
Pi
Pipes
Puffer
Spreadsheets
Datensätze im Arbeitsseicher
6
Datentransformationsmodell
Mühelos definierbares
Paradigma
Aufgabentransformationen auf allen Ebenen
Vorgänge auf Quellenebene
Beispiel:
Tabellen/Dateien
Einfache
Dateien
RDBMS
fest/variabel
Vorgänge auf AufzeichnungsebeneCHK,35.98
Beispiel:
Vorgänge auf Feldebene
Beispiel:
CHK,83.73
CHK,62.92
SAV,834.23
PERSONAL CHECK,325.25
CASH 10 00
CASH,10.00
BUSINESS CHECK,300.00
Sammeln, Zusammenführen
Vereinigen, Sortieren
CHK,182.63
SAV,834.23
Filtern, Umformatieren
arithmetisch, konditional,
Datum-Uhrzeit,
PERSONAL CHECK,375.25
ADD FEES
Zeichenkette,
Format,
Musterabgleich
CASH 10 00
CASH,10.00
BUSINESS CHECK,360.00
7
DMExpress - Vorteile

Die Hochgeschwindigkeitslösung für Ihre Datenmanagement Herausforderungen . Wir
beschleunigen ETL-, Data Warehousing-, BI- und
andere großvolumige Applikationen.
Applikationen

Schnell – Prozeßzeiteinsparung
p
g ca. 30-90%

Kostengünstig – Reduktion TCO ca. 15-50%

Robust – 40+ Jahre Erfahrung im Bereich High-Performance
Innovationen

Weltweiter First-Class Service – Experten-Unterstützung 24/7
“ Extreme Beschleunigung mit DMExpress.”
8
DMExpress
Syncsort Produkte sind bei über 500 Kunden im deutschsprachigen Raum installiert und im
produktiven Einsatz (z.B Deutsche Bank, Allianzgruppe, REWE, NIONEX, Siemens AG, RFI,
Ford Werke AG, Opel AG, Daimler AG, Vodafone, Deutsche Telekom, Talkline, Telekom Austria,
RDG Wien, IBM, EDS, T-Systems, Deutsche BP, Deutsche Lufthansa AG, Lufthansa Cargo, OEBBDLG
Einsatz für Data Warehousing Anwendungen liegt geschätzt bei ca. 25-50%
Funktionsschwerpunkt: extrem schnelle ETL-Lösung
EAI- und EII- Funktionen werden abgedeckt durch Component Software Server
Dataquality-Funktionen werden via Drittanbieter-Produktlösungen abgedeckt
Schnittstellen: DB2, Oracle, MS SQL Server, Teradata, Redbrick, Sybase, ODBC, C++, VBScript,
JScript, XML, Micro Focus Cobol, ACUCOBOL-GT, ISAM, VSAM
Keine Einschränkung bei Performance und der Skalierbarkeit seitens
des Produktes
9
Ronald Körsgen
Vertriebsbeauftragter
RKOERSGEN @ SYNCSORT.COM
Tel.: +49 2102 95469546-0
© Syncsort Incorporated 2008 © Syncsort Incorporated 2008
10
BARC@TDWI
-> Speed Dating
© Talend – All Rights Reserved
Talend
Erster Hersteller einer reinen Open Source DatenintegrationsLösung
Gegründet 2005 nach drei Jahren F&E
Unterstützt von führenden Venture Capital Firmen
Weltweite Niederlassungen und Anwender
Slide 2
Philosophie
Talend’s Verpflichtung
Eine stabile OpenSource Datenintegration Lösung, basierend
auff den
d neuesten
t verfügbaren
fü b
Technologien
T h l i
Die Leistung und der Funktionsumfang erreicht oder übertrifft
die führenden kommerziellen Anwendungen
Industriestandards: Eclipse RCP, Java, Perl, SQL
GPL v2 und Subskriptionen
Investitionsschutz
Technischer Support, Expert Consulting und Schulung
Kontinuierliche Investitionen in R&D
Sofortiger Nutzen
Bessere Geschwindigkeit, hohe Skalierung
Hohe Benutzerfreundlichkeit und umfangreiche Schnittstellen
Zweckmäßiger Einsatz
ü e e Entwicklungszeiten
c u gs e e
Kürzere
Risikominimierung
Slide 3
Talend Open Studio
Geschäftsorientierte Prozessmodellierung
Einbindung
g der Businessanwender
Gewährleistung der notwendigen Kommunikation zwischen IT
und LOBs während der Umsetzungsphase
Graphische
G hi h E
Entwicklung
t i kl
Steigerung von Produktivität und der Umsetzung
Schneller Aufbau von Prototypen
Umgesetzte Mappings/Transformationen können einfach im
Synchronizationsprozess wiederverwendet werden (falls
gewünscht)
ü
ht)
Geschwindigkeit & Stabilität
Duale Architektur: ETL + ELT
Ausführung im Grid
Zahlreiche Schnittstellen zur Unterstützung
g diverser Systeme
y
Native Schnittstellen zu Source und Target Systemen
Slide 4
Talend Integration Suite
Erhöhte Produktivität bei der Entwicklung
Verteiltes Repository
Ermöglicht den Austausch in großen Projekt-Teams
Unterstützt “Best
Best-Practices
Practices”
Erlaubt die Wiederverwendung von Code
Unternehmensweiter Einsatz
maximale Skalierbarkeit
Verteilte
V t ilt A
Ausführung,
füh
nahe
h an d
der Q
Quelle
ll und
d am Zi
Ziell
Zentralisierte Überwachtung von Integrations-Prozessen
Integrations Prozessen
Montioring und Alarmierung auf einen Blick
Bindet sich nahtlos in Network Operations Center ein
Slide 5
Einfach & Produktiv
Graphische Entwicklung

Steigerung
g
g von Produktivität und der Umsetzung
g
Kombiniert graphische und technische Sicht
Drag-and-Drop Mapping-Interface
Umfangreiche Komponenten und Schnittstellen
Bibliothek
Beruht auf Industriestandards
Java, Perl, SQL
Slide 6
Geschwindigkeit & Stabilität
Schnelle, stabile und skalierbare Ausführung
Verteilter Grid Betrieb
Mittels Standard-Hardware
Auf Kleinen kostengünstigen oder High-End Servern
Steigerung durch Zusammenfassung von Ressourcen
Code-Erzeugung nach Industriestandards
Hochoptimierte Engines (Java oder Perl)
Unterstützt sowohl ETL als auch ELT
Ausführung von Prozessen in verteilen Systemen (generierter
Code) oder direkt in der Datenbank
Ausführung nahe der Datenquellen
Slide 7
Schnittstellen
Zahlreiche Schnittstellen zur Unterstützung diverser Systeme
200+ direkt einsetzbare Konnektoren
Geschäftsanwendungen:
SugarCRM, SalesForce.com, LDAP, Navision, SAP, …
Datenbanken / RDBMS:
Oracle, MySQL, DB2, SQL Server, Sybase, Ingres,
PostgreSQL…
PostgreSQL
Web:
Web Services, FTP, HTTP, POP3, SMTP…
Files:
Delimited, positional, XML, Excel…
Slide 8
Ausgewählte Kunden von Talend
Banken
&V
Versicherung
i h
Dienstleister
Hersteller
& Handel
Öffentlicher
Sektor
& Bildung
Slide 9
Gestellte Fragen
Wie viele Installationen gibt es im deutschsprachigen Raum
(Referenzen)?
Bei OSS-Applikationen schlecht messbar, da keine Lizenzierung
notwendig ist. -> Folie: „Ausgewählte Kunden von Talend”
Wie viel Prozent der Anwender nutzen das Werkzeug
g für Data
Warehousing?
50%
Welche Funktionen werden angeboten (ETL
(ETL, EAI
EAI, EII
EII,
Datenqualität, etc.)?
ETL, Datenqualität und Möglichkeiten EAI Funktionen zu nutzen
Welche Schnittstellen gibt es?
Folie: „Schnittstellen“
Welche Konzepte stellen Performance und Skalierbarkeit
sicher?
Folie : „Geschwindigkeit & Stabilität”
Slide 10
Talend Open Studio
www.talend.com/download.php
Animierte Beispiele
p
((How-To‘s))
http://www.talendforge.org/tutorials/menu.php
Dokumentation
http://www.talend.com/resources/documentation.php
Martin Lange
[email protected]