BARC @ TDWI Speed Dating Datenintegration
Transcrição
BARC @ TDWI Speed Dating Datenintegration
BARC @ TDWI Speed Dating Datenintegration Status quo, aktuelle Entwicklungen und Fragen an die Software-Anbieter 04.06.2008 Timm Grosser Analyst BARC Agenda 14:45 - 15:15 Einführungsvortrag Datenintegration 15:15 - 15:30 Business Objects 15:30 - 15:45 IBM 15:45 - 16:00 Now!Consulting g ((Informatica)) 16:00 - 16:30 Pause 16:30 - 16:45 Oracle 16:45 - 17:00 Pentaho 17:00 - 17:15 SAS 17:15 - 17:30 Syncsort 17:30 - 17:45 Talend 17:45 - 18:00 Ab Initio ab 18:00 Fragen an die Hersteller 2 Der Markt für Datenintegrationswerkzeuge Spezialist Anbieter liefert keine Datenbank oder BI-Frontend Suite-Anbieter Anbieter hat auch Datenbank und/oder BI-Frontends im Portfolio Open p Source Spezialisten oder Suite-Anbieter http://www.barc.de/dwh Ergebnisse aus den BARC Software Evaluationen für Data Warehousing und Datenintegration • Methodenkonvergenz M th d k ETL/ELT (Extraktion, Transformation, Laden): zyklische Überführung und Anpassung großer Datenmengen EAI (Enterprise (E t i Application A li ti Integration): I t ti ) S Systemübergreifende t üb if d Prozessausführung durch direkte Übertragung kleiner Datenmengen Föderation: Logische Sicht auf Datenquellen zur Abfrage, Einbeziehung heterogener Datenquellen • Unterstützung verschiedener Ansätze zur Umsetzung von Datenintegration (ETL (ETL, ELT) • Breiteres Funktionsangebot durch Integration von Methoden zur Verbesserung und Überwachung Ü der Datenqualität • Entwicklung hin zu Datenintegrationsplattformen Ergebnisse aus den BARC Software Evaluationen für Data Warehousing und Datenintegration • Performance und Skalierbarkeit weiterhin Thema in jedem Release • Entwicklung zur SOA: Integrationsservices für Stamm-, Meta und Bewegungsdaten in strukturierte und unstrukturierte Form • Verbesserungen im Metadatenmanagement (Administration, Auswertung und Austausch) • Insbesondere die dimensionale Datenmodellierung wird von wenigen Anbietern unterstützt • Einbeziehung neuer Datenquellen wie RFID-Daten und Erweiterung der Standardkonnektoren für Applikationen und Datenbanken • Transformationen werden von allen Werkzeugen gut bis sehr gut unterstützt Open Source: Definition Eine Software ist Open Source, wenn sie unter einer anerkannten Lizenz der Open Source Initiative steht. (htt // (http://www.opensource.org) ) Open Source: Lizenzen • Open O Source S Initiative I iti ti (OSI) ist i t ein i Kollegium K ll i zur Prüfung P üf und d Anerkennung von Open Source Lizenzen. • Die Open Source So rce Definition (OSD) ist der Standard an dem Open Source So rce Lizenzen durch die Open Source Initiative gemessen werden. • Die wichtigsten Punkte der OSD Copyleft: Veränderter Quellcode muss wieder veröffentlicht werden Offener Quelltext (nicht-binäre Form) Das Recht die Software zu kopieren und zu verbreiten Das Recht die Software zu verändern und weiterzuverbreiten Keine Einschränkung von Nutzerkreisen, Software und Technologien Integriät des Quellcodes (neue Versionsnummer oder Name der Software) • General Public License (GPL) und Lesser GPL (LGPL) sind die meist p Source Lizenzen. verwendeten Open Open Source: Markttrends • OS ist inzwischen in vielen Bereichen etabliert (Linux, (Linux Apache Webserver, Webserver Red Hat Application Server, MySQL, …) • Meist werden die Systeme nicht mehr von einzelnen Entwicklern oder einer Community, sondern durch Unternehmen gesteuert Professioneller Support Roadmap, stabilere Entwicklung und Abschätzbarkeit der L b Lebensfähigkeit fähi k it • Zunehmend auch Übernahme von Open Source Unternehmen durch kommerzielle Anbieter (Suse durch Novell Novell, MySQL durch Sun) • Seit einigen Jahren neben o.g. technischen Systemen auch Angebote im g y (ERP, ( CRM), ) seit etwa 2001 auch erste Bereich von Anwendungssystemen Teillösungen für BI • Im Bereich BI zunehmend Angebote von BI Komplettanbietern Open Source: Geschäftmodell • Wagniskapital W i k i l (L (Laut 451group iim 1. Q Quartall 2008 üb über 200 Mi Mio. USD) • Kostenpflichtiger Support mit garantierter Reaktionszeit und für eine definierte Anzahl von Anfragen • Zusatzleistungen wie Schulung und Beratung / Implementierung • Subskriptionen: Funktional erweiterte Software, meist kombiniert mit Schulungs- und Supportpaketen • In geringem Umfang kostenpflichtige Partnermodelle Open Source: Chancen • Einfache Ei f h B Beschaffung: h ff Die Di S Software f k kann schnell h ll per D Download l db beschafft h ff und ausprobiert werden. • Community Ungefilterter Kontakt zu anderen Anwendern Entwicklung des Produkts nach Anforderungen aus dem Anwenderkreis • Erweiterbarkeit und Anpassbarkeit • Offene Schnittstellen, daher gut in (Java-) Eigenentwicklungen integrierbar • Kostenfreie Beschaffung und günstiger Support. Dies sagt jedoch nichts über den TCO aus. Open Source: Risiken • Wirtschaftliche Wi t h ftli h St Stabilität bilität und dR Reifegrad if d eines i P Projekts j kt iistt schwerer h einzuschätzen • Zusätzliche Z sät liche Risiken durch d rch die verteilte erteilte Entwicklung Ent ickl ng in der Comm Community nit • Problem des Betriebs durch mangelnde Support-Kapazität auf Anbieterseite • Rechtliche Problematik durch verschiedene Open Source Lizenzmodelle • Kontrollverlust der IT / Wildwuchs durch unkontrollierte Beschaffung der Lösungen • Know how im relativ jungen OS-BI-Umfeld ist in geringerem Umfang vorhanden im Gegensatz zu etablierten kommerziellen Lösungen Marktüberblick Datenintegration – Open Source Open Source Hersteller Apartar Kinetics Networks, Inc. Menta OpenSys ObjectWeb Jedox Pentaho Talend Produktname Apartar KETL Jasper Tserv CloverETL Enhydra Octupus Palo ETL Data Integration (Kettle) Open Studio Ansatz Spezialist ETL Spezialist ETL Suite - Code-Generator Spezialist Code-Generator Spezialist Middleware Suite - ETL Suite - ETL Spezialist - Code Generator Funktionaler Vergleich Open Source gegen kommerzielle Software • Breitere B it MethodenM th d und dA Architekturunterstützung hit kt t tüt zur Verarbeitung V b it hochvolumiger Anforderungen • Open Source Lösungen bieten ein offenes Entwicklungsframework und richten sich eher an Entwickler individueller Lösungen • Klare Defizite von Open Source Software im Bereich Host-Zugriff und Verarbeitung von Host-Dateien • Anbindung von Standardapplikationen (bspw. SAP ERP) bei kommerzieller Software breiter unterstützt Funktionaler Vergleich Open Source gegen kommerzielle Software • Vorteile V il von k kommerzieller i ll S Software f iim Bereich B i h Metadatenmanagement, insbesondere im Austausch und Auswertungsmöglichkeiten • Wie auch viele kommerzielle Produkte setzen viele Open Source Produkte für die Mehrbenutzerunterstützung und Versionierung auf externe Werkzeuge • Grundlegende Datenqualitätsfunktionen bei Open Source Software vorhanden Fragen an die Software-Anbieter • Wie Wi viele i l IInstallationen ll i gibt ib es iim d deutschsprachigen h hi R Raum (Referenzen)? • Wieviel Prozent der Anwender nutzen das Werkzeug für Data Warehousing? • Welche Funktionen werden angeboten (ETL, EAI, EII, q , etc.)? ) Datenqualität, • Welche Schnittstellen gibt es? • Welche Konzepte stellen Performance und Skalierbarkeit sicher? Kontakt Timm Grosser Analyst BARC GmbH Steinbachtal 2b D-97082 Würzburg Tel. +49 (0)931/880651-0 Fax +49 (0)931/880651-28 [email protected] www.barc.de Enterprise Information Management EIM mehr als nur `ETL` Bettina Wieser Business Development Manager EIM EMEA BusinessObjects – an SAP company - SAP, BO und FUZZY! Alles Gute aus einer Hand… WAS IST ENTERPRISE INFORMATION MANAGEMENT? Informationen sind nur so verlässlich wie ihre Quellen SLIDE 3 COPYRIGHT © 2008 BUSINESS OBJECTS S.A. ALL RIGHTS RESERVED. DATA SERVICES – DIE EIM-PLATTFORM Business Intelligence Platform Information Discovery & Delivery Query, Reporting, & Analysis Reporting Analysis Dashboards Search Advanced Analytics Information Delivery Predictive Data Services Platform Enterprise Information Management Data Integration Business Applications & Structured Data Data Quality Metadata Management Unstructured Data Data Mart Solutions www Cloud Data BUSINESS INTELLIGENCE – End2End POA IDD Analysis Planning, Consolidation, Scorecarding Reporting Enterprise Information Management Master Data Mgmt Source Data EII ETL Data Cleansing Text Mining Data Profiling Metadata Management Data Lineage + Impact Analysis Metadata Manager BI Plattform DATENINTEGRATION – DATA INTEGRATOR Entwicklerproduktivität – Ein Entwicklungswerkzeug – Web-basierte Administration – Metadaten: Quelle bis Report Skalierbarkeit – Services-basierte Architektur – Viele vorbereitete, wieder verwendbare Transformationen – Durchgängig parallelisiert und intelligente, verteilte Verarbeitung Benutzerakzeptanz – SLIDE 6 Change Management: End-to-End Impact Analyse und Data Lineage COPYRIGHT © 2008 BUSINESS OBJECTS S.A. ALL RIGHTS RESERVED. DATENINTEGRATION – RAPID MARTS Vorgefertigte DWH Lösungen für Applikationen von SAP, Oracle, PeopleSoft u.a. SLIDE 7 – Beschleunigte Implementierung bei niedrigeren BI Gesamtkosten – Vorgefertigtes Datenmodell und Schema – Vorgefertigte ETL Prozesse – Vorgefertigte Universen und Berichte COPYRIGHT © 2008 BUSINESS OBJECTS S.A. ALL RIGHTS RESERVED. Confidential and proprietary. Copyright © 2006 Business Objects S.A. All rights reserved. UNTERNEHMENSWEITER DATENZUGRIFF Grosse Bandbreite an Verbindungen zu Datenbanken, Applikationen, Legacy-Systemen, File Formaten und unstrukturierten Daten Databases: • • • • • • • • • Oracle DB2 Sybase & IQ SQL Server Informix Teradata ODBC MySQL Netezza Applications: • • • • • • • JD Edwards Oracle Apps PeopleSoft Siebel Salesforce.com SAP BI SAP R/3 • ABAP • BAPI • IDoc Files/Transport: • • • • • • • • • Mainframe: • Text delimited • Text fixed width • EBCDIC • XML • Cobol • Excel • HTTP JMS SOAP (Web Services) ADABAS ISAM VSAM Enscribe IMS/DB RMS Both direct and change data Unstructured Data: • Any text file type • 32 languages Rapid Marts für z.B. SAP ERP (R/3) Purchasing •PO ranked listings •Cycle times •Purchasing performance •PO history •PO status •Vendor performance •Price analysis •Exception reporting Production Planning •Bill of material explosion •Routing explosion •Where used •Capacity planning •Cost analysis •Lead time •MRP requirements •Yield analysis Accounts Payable •Open payables •Configurable periods •Payment history •PO/invoice reconciliation •Checks issued •Short-term cash outflow •Department workload •Financial effectiveness Human Resources •Employee benefits •Eligibility and enrollment •Salary comparisons •EEO comparable worth •Employee pay history •Turnover analysis •Employee events •Vacation reporting Project Systems •Project costs •Plan, actual, variance •Earned value •Progress analysis •Material reservations •Capacity planning •Project schedules •Project elements Inventory •Daily inventory trends •Stock turnover/outages •Batch management •Inventory valuation •Stock level optimization •Expenditure •Replenishment •Make-to-order status Cost Center •Costs •Allocations •Plan, actual, variance •Cost center hierarchies •Cost element hierarchies •Internal orders •Fiscal year •Reporting periods Sales •Bookings •Returns •Lifetime sales •Delivery efficiency •Delivery service levels •Margins •Discounting •Backlog Plant Maintenance •Life time performance •Bad actors •Maintenance hours •Planning efficiency •Material consumption •Damage analysis •Downtime •MTBR and MTTR Accounts Receivable •Aged receivables •Configurable periods •Largest balances •Customer payments •Clearing vs. invoices •Dunning and credit •Short-term cash flow •Department workload ÜBER 6000 KUNDEN, DIE SICH FÜR BO-EIM ENTSCHIEDEN HABEN… Confidential and proprietary. Copyright © 2006 Business Objects S.A. All rights reserved. Danke für Ihre Aufmerksamkeit! Thank you! Kontaktdaten: Bettina Wieser Business Development Manager Enterprise Information Management EMEA BusinessObjects Deutschland GmbH -an SAP companyGeorg-Brauchle-Ring 62 80992 München Tel. +49 (0)89 959493-120 Mobil +49 (0)170 560 4335 © SAP 2007 / Page 11 Information Management Software Datenintegration: Open O Source S und kommerzielle Lösungen im Vergleich IBM Information I f ti Server S H ld G Harald Gröger ö Consulting IT Specialist [email protected] Speed Dating BARC@TDWI München, 04. Juni 2007 © 2008 IBM Corporation Information Management Software Speed Dating Fragen Wie viele Installationen gibt es im deutschsprachigen Raum (Referenzen)? Wie viel Prozent der Anwender nutzen das Werkzeug für Data Warehousing? Welche Funktionen werden angeboten (ETL (ETL, EAI EAI, EII EII, Datenqualität Datenqualität, etc etc.)? )? Welche Schnittstellen gibt es? 2 IBM Software für Information on Demand | IBM Information Server © 2008 IBM Corporation Information Management Software Installationen Referenzen, Installationen, Referenzen Data Warehouse Nutzung IBM führend bei Datenintegration, ETL und Datenqualität IBM Information Integration solutions are used by more than 5000 customers. More than h 100 partners support these h solutions. l i Since its introduction, IBM Information Server has been installed by nearly 200 organizations worldwide. 3 Gartner Magic Quadrant The Forrester WAVE™: Gartner Magic Quadrant Data Integration Tools Oktober 2007 Enterprise ETL, Q2 2007 Data Quality Tools Juni 2007 © 2007 Gartner, Inc. © 2007 Forrester Research, Inc. © 2007 Gartner, Inc. © 2008 IBM Corporation IBM Software für Information on Demand | IBM Information Server Information Management Software Welche Funktionen werden angeboten (ETL, (ETL EAI, EAI EII, EII Datenqualität, Datenqualität etc.)? etc )? IBM Information Server - Bereitstellung von zuverlässigen Informationen IBM Information Server Datenqualität Erkennen / Modellieren von Informationsstruktur und –inhalt ETL Standardisieren, Verknüpfen und Korrigieren von Informationen Kombinieren und Restrukturieren von Informationen EII Synchronisieren und Vitualisieren heterogener Informationen Plattform Services EAI 4 IBM Software für Information on Demand | IBM Information Server © 2008 IBM Corporation Information Management Software Welche Funktionen werden angeboten? Datenqualität: Schrittweise Analyse der Quelldaten Verstehen Bereinigen Transformieren Liefern Plattform Parallel Verbindung Metadaten Admin Deployment Analysieren der Quelldaten Das Bild k ann nicht angezeigt werden. Dieser Computer v erfügt möglicherweise über zu wenig A rbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen. Analysieren, Verstehen und Reports Generierung von Metadaten Quellen-übergreifend Q ll üb if d Schrittweise Analyse Spalten p ((Datentypen, yp , Füllungsgrad) g g ) Primary Key (eindeutige Schlüssel) Foreign Key (Abhängigkeiten) Das Bild k ann nicht angezeigt werden. Dieser Computer v erfügt möglicherweise über zu wenig A rbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen. Tabellen übergreifend (Abhängigkeiten) Information Analyzer 5 © 2008 IBM Corporation IBM Software für Information on Demand | IBM Information Server Information Management Software Welche Funktionen werden angeboten? Datenqualität: Standardisierung und Bereinigung Verstehen Bereinigen Transformieren Liefern Plattform Parallel Verbindung Metadaten Admin Deployment Bereinigung der Qualität Kate A A. Roberts Fehlende Informationsstandards Unerwartete / versteckte Daten in einzelnen Feldern 416 Columbus Ave #2 #2, Boston Boston, Mass 02116 Catherine Roberts Four sixteen Columbus APT2, Boston, MA 02116 Mrs. K. Roberts 416 Columbus Suite #2, Suffolk County 02116 Fehlende Daten Duplikate In das ETL GUI integriert Investigate (Regelwerke) ( g ) Standardize (Regelwerke) Match Frequency Das Bild k ann nicht angezeigt werden. Dieser Computer v erfügt möglicherweise über zu wenig A rbeitsspeicher, um das Bild zu öffnen, oder das Bild ist beschädigt. Starten Sie den Computer neu, und öffnen Sie dann erneut die Datei. Wenn weiterhin das rote x angezeigt wird, müssen Sie das Bild möglicherweise löschen und dann erneut einfügen. Reference / Unduplicate Match • Passes, Blocking, Matching Survive MNS / WAVES QualityStage™ 6 IBM Software für Information on Demand | IBM Information Server © 2008 IBM Corporation Information Management Software Welche Funktionen werden angeboten? Verstehen Extrahieren, Transformieren und Laden Bereinigen Transformieren Liefern Plattform Parallel Verbindung Metadaten Admin Deployment Transformation: Umfassende vordefinierte Funktionen Performance: Parallelisierung und Skalierbarkeit Anbindung: Unterschiedlichste Quellen / Ziele g und Kapselung p g Wiederverwend- Parametrisierung barkeit: Sequenzen: Prozessabläufe / Fehlerbehandlung Scheduling: Definierte Termine und Zeiten Latenzzeit: Batch, Echtzeit und Services Reports: Prozessabläufe / automatisiert Standards: Information Services / SOA Erweiterbarkeit C++, Kommandos, Java, Commands Überwachung: GUI mit Monitor / Log / Grafik Metadaten: Übergreifende Information / Analyse Qualität: Analyse und Bereinigung integriert DataStage® 7 © 2008 IBM Corporation IBM Software für Information on Demand | IBM Information Server Information Management Software Welche Funktionen werden angeboten? EII: Verfügbarkeit aktuellster Daten Verstehen Bereinigen Transformieren Liefern Plattform Parallel Verbindung Metadaten Admin Deployment Synchronisierung: Konsistente Informationen I f i Föderation: Eine grosse virtuelle Datenbank D b k Zugriff auf unterschiedliche und verteilte Informationen, als befänden diese sich in einem einzigen System Echtzeitzugriff von Analyseanwendungen auf integrierte Informationen SQL Classic Federation Server for z/OS Abgleich zwischen Datenbanken, Hochverfügbarkeit, Migration Datenänderungen starten Anwendungen SQL Content Federation Server Information Integrator Content Edition An Anwendung IBM IInfoSphere f S h Event Publisher / CDC (DataMirror) Replication Server 8 IBM Software für Information on Demand | IBM Information Server © 2008 IBM Corporation Information Management Software Welche Funktionen werden angeboten? Datenqualität + ETL + EII + Plattform Analysieren der Quelldaten Kardinalität, Frequenz, Abhängigkeiten (Cross) Analysieren, Verstehen und Reports Quellen übergreifend Quellen-übergreifend 4711 Peter Berk 22587 Hamburg Kennedy 13 0000 Peter Berg 22587 Hamburg Kennedystr. 31 Berg 2258J Hamburg Kennedystr. 13 0815 Verbesserung g der Qualität Fehlende Informationsstandards Duplikate, Referenz Match, Selektion 4711 Peter Berg 22587 Hamburg 4711 13.01.2008 13 342 4 11 4711 21 12 200 21.12.2007 43 375 0815 15.09.2007 5 228 769 4711 Peter 22587 4711 04.06.2008 Kennedystr. Fehlende Daten / Duplikate 13 Extraktion, Transformation, Laden Joins Aggregation Joins, Aggregation, Von Daten zu Geschäftsinformationen Geschäfts-Regeln Berg Vordefiniert, wiederverwendbar Hamburg Kennedystr. 13 5 246 486 Aktuellste Daten Transparenter Zugriff 4 925 528- Echtzeitzugriff durch Föderation Echtzeit-Daten Konsistente Daten durch Synchronisierung 4711 9 Peter Berg 22587 Hamburg Kennedystr. 13 320 958 © 2008 IBM Corporation IBM Software für Information on Demand | IBM Information Server Information Management Software Schnittstellen und weitere Plattform Services IBM Information Server – Information Services Verstehen Bereinigen Transformieren Liefern Plattform Parallel Verbindung Metadaten Admin Deployment Oracle Applications pp SAP BW JD Edwards EnterpriseOne SAS PeopleSoft Enterprise Siebel Salesforce.com Datenbanken, Files, Echtzeit, ERP, CRM, ... Variable Parallelisierung Entkoppelte Entwicklung 10 Admin-Konsole Report-Konsole Geschäfts Definitionen Geschäfts-Definitionen Abhängigkeits-Analysen IBM Software für Information on Demand | IBM Information Server Informations Services Informations-Services Information Server Blades © 2008 IBM Corporation Information Management Software Welche Funktionen werden angeboten? Verstehen Von Excel Definitionen zu ETL Jobs Bereinigen Transformieren Liefern Plattform Parallel Verbindung Metadaten Admin Deployment Excel mit Geschäftsregeln Komplettierung in FastTrack ETL Job Generierung IBM Information Server FastTrack 11 © 2008 IBM Corporation IBM Software für Information on Demand | IBM Information Server Information Management Software IBM Information Server Bereitstellung von zuverlässigen Informationen wann und wo sie gebraucht werden IBM Information Server Erkennen / Modellieren von Informationsstruktur und –inhalt Standardisieren, Verknüpfen und Korrigieren von Informationen Kombinieren und Restrukturieren von Informationen Synchronisieren und Vitualisieren heterogener Informationen Plattform Services 12 IBM Software für Information on Demand | IBM Information Server © 2008 IBM Corporation Data Integration mit Informatica Wie Informatica Sie dabei unterstützt den Wert Ihrer unterstützt, Unternehmensdaten zu maximieren Informatica vertraulich 1 Die Herausforderung Kosten der Datenfragmentierung • Laut TDWI kostet schlechte Datenqualität US-Firmen jährlich ca. 600 Mrd. US$ • 55% aller ll Fi Firmen werden d auff h hohem h Niveau Mitarbeiter und Budget in das Thema Datenintegration investieren (TDWI) • 60% der IT-Budgets werden momentan für Integration ausgegeben (Ventana Research) • “Ohne eine ganzheitliche Strategie werden die IntegrationsStrategie… Integrations kosten unverhältnismässig hoch bleiben” (Gartner) 2 Informatica vertraulich Die Lösung: Datendienste Komplexität entwirren • Zugriff auf Daten in unterschiedlichsten Quellen, umfassende Verfügbarkeit • Abgleich g der Datendefinitionen hinsichtlich Konsistenz und Wiederverwendbarkeit • Zertifizierung der Datenqualität, Gewährleistung von Exaktheit und Vollständiget keit • Umwandlung von Daten aus allen Formaten in produktives Kapital 3 Informatica vertraulich Die Produktplattform von Informatica Den Datenintegrationszyklus automatisieren Prüfen, Überwachen, Darstellen Datenkonsistenz gewährleisten, Auswirkungen analysieren, kontinuierlich die Qualität überwachen Data Explorer Zugreifen g Auf jedes System, in Batch oder Echtzeit Data Quality Erkennen Bereinigen g Daten von jeder beliebigen Quelle finden und analysieren Alle Datentypen validieren, berichtigen und standardisieren Integrieren g Alle Datentypen transformieren und abgleichen Liefern Jederzeit die richtigen Daten im richtigen Format b it t ll bereitstellen PowerCenter PowerExchange Weiterentwickeln & verwalten Entwicklung und Zusammenarbeit auf gemeinsamem Repository und mit geteilten Metadaten 4 Informatica vertraulich 5 Informatica vertraulich 6 Informatica vertraulich 7 Informatica vertraulich 8 Informatica vertraulich 9 Informatica vertraulich 10 Informatica vertraulich 11 Informatica vertraulich <Insert Picture Here> Data Integration Alfred Schlaucher Data Warehouse Architect, BU Database Entwicklung von Oracles Integrationslösungen im DWH Standalone Tool Pervasive Service Batch ETL / ELT Right Time Delivery Oracle Centric Passive Data Quality H t Heterogeneous Active Data Quality Convergence Pervasive information management services Pervasive Service Standalone Tool Goal Achieved by y Create one pervasive data management service for database users 9 • One Repository  Embed the repository in the Oracle database • One User Interface  Leverage Oracle’s IDE  Create a single tool for all database development and design with one repository 9 • One Install with the database  Install all required components at database install time Transform and Deliver Transform any data and deliver through data services Batch ETL / ELT Batch ETL / ELT Goal Right Time Delivery Achieved by y Deliver data through SOA to the right users at the right time in a heterogeneous environment 11.2 • Enable heterogeneous data transformations and processes for an SOA architecture  Allow publishing of any process to a web service  Support deployment of web services on non-Oracle platforms 9 • Full spectrum of data integration patterns      ETL/ELT Data Federation (EII) Data Replication Message based integration (EAI) Change Data Capture Access Heterogeneous data integration Heterogeneous Oracle Centric Goal Achieved by Deliver heterogeneous information integration to Oracle database customers • High performance native read and write to and  Native data access using Knowledge Modules (KM)  Allow creation / import / maintenance of KMs  Data virtualization using Database Gateways 11.2 • Heterogeneous Change Data Capture  Native change data capture using KMs  Partnerships (Golden Gate, Attunity, DataDirect) 11.2 • Generate and maintain BI tool metadata on any  Derive and maintain Oracle BI EE metadata from any 11.2 from any platform platform data object in OWB  Exchange metadata with any BI tool  Deliver attribute level lineage and impact analysis from source to report with any BI tool Governance Active data quality in the database tier Passive Data Q Quality y Goal Active Data Q Quality y Achieved by y Make data quality smart and apply it to specific applications via the database tier 9 • Active data quality  Active auditing and monitoring solutions  Data quality fire walls • Applied data quality  Deliver pre-built content for specific domains  Verticals (Retail, banking, telco etc.)  Horizontals (MDM for customer, product etc ) etc.) 9 • Smart data quality     • Integrated data quality  Single repository for DQ, ETL and data modeling  Auto-generate data corrections  Validate data rules Self learning data quality engine Auto-tuning of algorithms and algorithm extensibility Leverage Oracle Data Mining for data quality Deterministic and probabilistic algorithms Oracles Integration Lösungen die am häufigsten eingesetzte ETL-Lösung ETL Lösung • Oracle Database – Zentriert • Oracle Warehouse Builder (OWB) • Any Database • Oracle Data Integrator (ODI) • Native-Access zu nahezu allen Plattformen • Integriertes Data Quality Paket p y • Universelles Metadaten-Repository • Mehr als 10000 Installationen • Bestes Preis-/Leistungsverhältnis BI Application pp Reporting Dashboards Q Query Business Logic Consolidation Performance M Measurement t Data Quality and state reporting Business Access Layer Data Delivery Layer End User Specific (Data Mart) Reg Zeit Org. Linie Prod Rel. Structure Embedded Data Mining Multidimensional De-Normalization ( (Enterprise) p ) Normalized Datastore (DWH) Pre aggregated generic and public measures. Also historic and dimensional data. Normalization Stage Automated and embedded rule based Data Quality Integrated and data centric c data moveme ent Service Orien S nted Infrastru ucture Realtime interaction Inventory off all ll obects Business, semantical technical metadata No 1:1 Copies, Reduction of Complexity, Cleanse, checks, transformations Realtime interaction Any operational system core processes Unified Generic Repository Integrierte Funktionalität Single User Interface Data Modeling Data Compliance Data Integration Data Q alit Quality Relational Modeling Dimensional Modeling Analytical Modeling Life Life Cycle / Change Management Data Profiling Anomaly Detection Enforce Business Rules Audit Audit Lineage + Impact Analysis Bulk ETL / ELT Event driven Message-driven DB Distribution Query Replication Replication Standardization Match/ Merge De-duplication Enrichement Unified Metadata Management Enterprise Information Management Techniken und Lösungen auf der Basis der Oracle Datenbank Mission Critical Applications Packaged Applications Data Movement Master Data Management Data Governance Unified Database Development IDE Business Intelligence Content Management Data Warehousing Data Migration Rel. Data Modeler Dim. Data Modeler SQL Worksheet PL/SQL Debugger Data Flow Designer Proc Flow Designer Data Profiler Data Auditor Dependency Analyzer Metadata Browser SOA Deployment in Heterogeneous Environments Integration g Service Transformation Service Data Quality y Service Metadata Service Integration Service Foundation Data Integration Data Quality and Profiling Database Core Services Consolidation (ETL) Change data capture Data Profiling Data Auditing Data Dictionary PL/SQL Federation (Gateway) Archive/Restore (ILM) Matching/Merging Data Rules SQL Engine OLAP Engine Replication (Streams) Real time Standardization Intelligent Clustering Data Mining RAC / Grid Unified Metadata Extensible Common Models Lineage/Impact Change Management Metadata Exchange Data Connectivity Relational Databases Non-Relational DBs Various File Formats XML Data Packaged Applications Standard Msg Formats Message Queues Semi-Structured Data Oracle or 3rd Party: Applications | Analytics | Identity | SOA Platforms | Data Grid | Content Management | Search 1010 Vorteile des Datenbank-basiertes ETL durch OWB native SQL /Set based PL/SQL / row based Multiple Insert, Merge Table Function Object Relational Embedded Java XML DB Streams + CDC • Mischformen bei komplexen Anforderung • 100% Oracle Datenbank-Ausnutzung • g Wiederverwendung • Schlankere Ladeläufe • Weniger Umwege / „On Place“ • Hardware • Wiederverwendung von Know How • Homogene Sprachenanwendung (SQL) • Minimierung Netzlast • Bessere Performance Oracle Warehouse Builder Heterogenität im Oracle Data Warehouse OWB 11gR2 (Aug (A 08) System A System B Oracle OLTP native SQL TNS System C SQL Server Ser er native SQL Agent System D DB2 Any native SQL Agent native SQL Agent O Oracle l DWH O Oracle l Warehouse W h Builder B ild Service Oriented Systems Agent native SQL + PL/SQL h hk hochkomplexe l Transformationen (Set Based / Row based) Data Quality Management Process Data Quality Dashboard Data Audit Data Profiling Generation of Correction Mögliche Integrationszenarien Klassische Datenbank-Anwendung Erzeugen, Befüllen und Pflegen von Oracle OLAP Strukturen Unterstützen beliebiger BI-Werkzeuge • Full design support for complex OLAP objects • Life-cycle support for managing OLAP objects • Transparent loading of OLAP using standard OWB constructs • Flexibility in loading strategies Data (incremental / replace) Sources • End-to-end lineage Reporting capabilities for Oracle OLAP Siebel CRM Load and Build Load Data Oracle EBS Oracle OLAP Data Transformations using OWB ETL Other Sources Enable Summary Management Create ETL SAP/R 3 OWB Repository Import Metadata M es sa g e Q u e u es Create Objects Relational Star PeopleSoft Master Data Management Anwendung von OWB Data Profiling und Correction Rules Data Sources Siebel CRM Oracle EBS Validation with pre-built pre built rules Connector OWB Repository Connector CDH Rules Connector SAP/R 3 Connector Target Oracle Master Data Management CDH Interface PIM Rules Connector UCM Rules Corrected and validated data ready for MDM master PeopleSoft Connector UCM Interface Connector Other M Sources es sa g e Q u e u es OWB In-Database Processing PIM Interface Validate Rules Correct Data MDM Base Tables Fusion Applications Migration von Anwendungen Fusion us o Database atabase ((B)) Source Database (A) Staging (A’) Finalize Custom Source Tables Source Tables Fusion Tables CDC OWB Redo Logs Incremental Replication Source Change Logs Upgrade Mappings Fusion Services MDS IDM Security DM AMX Metadaten-Support im BI-Environment Integrating with OBI SE/EE (Oracles Business Intelligence Suite) Data Sources Oracle Warehouse Builder Oracle BI EE Siebel CRM Data Data Data Warehouse Oracle EBS Other Sources Dashboards OBIEE Enterprise Semantic Layer (RPD) ETL Data Objects Data Quality SAP/R 3 Metadata Database Repository BI EE Server Distribute Metadata PeopleSoft OBI SE End User Layer Ad-Hoc Reports Lineage & Impact Change Propagation Runtime Statistics 18 Gemischtes Szenario aller ETLLösungen von Oracle ODI OWB ODI UI Design ODI Interfaces and KMs ODI Repository OWB UI Import any interface from ODI repository OWB Repository R it Maps Interfaces Verify interfa ce Add OWB Xf Xforms Deploy map to J2EE Start map p Verify ODI KM Apply KM to Map Deploy map to J2EE Start map KMs KMs Import any KM from ODI Execute any ODI interface J2EE Agents Execute on any platform [email protected] 040 89091-132 89091 132 Komponenten OWB Control Center Change Manager Datamodeler Scheduler Data Viewer Mapper Repository Browser Runtime Audit Experts Macros Experts-Macros Rules Editor Dependencies p Process Editor Data Profiler IntegriertesData Profiling mit OWB Methoden Die operativen Daten Feintuning zu den Analysemethoden Protokollierung laufende Analysen Drill Down zu den operativen Daten ETL Präsentation für TDWI München Ingo Klose, Senior Consultant Agenda Pentaho - Einführung P t h Data Pentaho D t IIntegration t ti (K (Kettle) ttl ) Produkteinsatz und Verbreitung im deutschen Markt Anwendungsfälle Verfügbare Funktionalitäten Performance- und Skalierungs-Highlights Weitere Informationen Pentaho - Einführung Kommerzielle Open Source-Alternative für Business Intelligence (BI) Gründung g im Jahr 2004: Pionierrolle im Bereich der kommerziellen Open p Source BI Große nachweisbare Kundenbasis; breites Spektrum an BI/DW-Installationen Management – Erfahrene BI- und Open Source-Experten von Business Objects, b Cognos, Hyperion, JBoss, Oracle, l Red d Hat, SAS Aufsichtsrat – große Sachkenntnis und Erfolge im Open Source-Bereich Larry Augustin – Gründer von VA Software, an der Prägung des Open Source Source-Begriffs Begriffs beteiligt New Enterprise Associates – Investoren bei SugarCRM, Xensource usw. Index Ventures – Investor bei MySQL, y Q , Zend usw. Benchmark Capital – Investor bei RedHat, MySQL usw. Pentaho Data Integration (Kettle) Seit 2005 als Open Source verfügbar D weltweit Das lt it populärste lä t O Open Source Daten-Integrations-Projekt Im Durchschnitt mehr als 12.000 Downloads pro Monat Große, weltweite Community Reifes Produkt der 4. Generation Eigentum, geleitet und gesponsert von Pentaho Verfügbar unter der freien LGPL Open Source Lizenz Open-Source-Lizenz Produkteinsatz und Verbreitung im deutschen Markt Produktiver Einsatz in vielen Bereichen Kleine und mittelständige g Unternehmen Großunternehmen Schnelle Produktentwicklung durch Investition in Pentaho-Entwickler und starke Beteiligung der Community “Contribution-freundliche” Contribution-freundliche Architektur Ungefähr 5% der Anwender kommen aus dem deutschsprachigen p g Raum ((ca. 500) 2 der 5 größten deutschen Unternehmen sind Pentaho-Kunden Pentaho Kunden Anwendungsfälle Pentaho Data Integration wird hauptsächlich im Data-WarehousingData Warehousing / ETL-Bereich eingesetzt Veröffentlichte Beispiele: Mit der gesamten Pentaho Open BI Suite Unionfidi S.C., MySQL AB, Close Premium Finance U.K. Gewonnene Kunden nach Auswahlverfahren gegenüber proprietären BI Tools Lifetime Networks (Business Objects/SAP) ZipRealty (Microstrategy) Verfügbare Funktionalitäten Extraktion Relationale Datenbanken,, Text-Dateien,, Excel-Dateien, Web Services, XML, MS Access, LDAP, .ARFF-Dateien, Mondrian (Pentaho OLAP Technologie) Transformation Über 80 im Standard verfügbare Transformations Funktionen Transformations-Funktionen Unterstützung für kundenspezifische Java-Script-Funktionen Unterstützung für kundenspezifische Funktionen (Plug-In Technologie) Laden Relationale Datenbanken, Text-Dateien, Excel-Dateien, XML, MS Access Verfügbare Bulk-Loader für einige Datenbanken Verfügbare Funktionalitäten Datenqualität Eigene Datenqualitätsfunktionen geplant für dieses Jahr Datenqualität-Plug-Ins bereits heute von Pentaho Partnern verfügbar Verfügbare ERP-Zugriffsmöglichkeiten von Pentaho Partnern und CommunityMitgliedern SAP Navision Peoplesoft JD Edwards Ed d Oracle ERP SugarCRM g Performance- und Skalierungs-Highlights Parallel-Verarbeitung und Clustering Trennung von Daten und Metadaten Datenbank-Spezifische Optimierungen Unterstützung für Datenbank-Partitioning Unterstützung für Datenbank-Bulk-Loader Datenbank Bulk Loader Optimiertes Laden von Textdateien mit festen Satzformaten und CSV-Dateien Kundenbeispiele Accor Hotels – laden von 50 GB neuer Daten pro Tag (parallel auf einer Sun UltraSPARC) Flemish Traffic Center – hinzufügen g von 2 Millionen Zeilen pro Tag in ein Data Warehouse mit 3 Milliarden Zeilen in der Faktentabelle Zusätzliche Features Integrierter Debugger Teamfunktionen in der Entwicklung Unterstützung von sog. Junk and SlowlyChanging Dimensionen Cross-platform – Windows, Linux, UNIX, Mac Pentaho Subscription Weitere Informationen Kettle Projektseite: kettle.pentaho.org F Forum: f forums.pentaho.org t h Kunden-Beispiele: www.pentaho.com/about/customers Schulungen: www.pentaho.com/services/training Subscription / Support: www.pentaho.com/subscriptions Pentaho-Partner: www.pentaho.com/partners Vielen Dank für Ihre Aufmerksamkeit Ingo Klose, Senior Consultant SHS VIVEON AG [email protected] P Prozesse nachhaltig hh lti modellieren d lli Datenintegration mit SAS Michael c ae Herrmann e a SAS Deutschland BARC@TDWI, 4.6.2008 Copyright © 2008, SAS Institute Inc. All rights reserved. Moderne Datenintegration: Aspekte Designwerkzeuge Error-Handling + DQ Management des Codes Scheduling + Batch-Betrieb Prozessmanagement + Dokumentation Copyright © 2008, SAS Institute Inc. All rights reserved. 2 Copyright © 2008, SAS Institute Inc. All rights reserved. 3 Transparenz in den Prozessen Wo kommen die Daten her (Ursachenanalyse)? ( )? Wo gehen die Daten hin (Auswirkungsanalyse)? Copyright © 2008, SAS Institute Inc. All rights reserved. 4 Datenzugriffe (Auszug) SAS S S DI Server S ermöglicht einfachen f wizardgesteuerten Zugriff auf eine Vielzahl von Datenquellen und -zielen: zielen: von Dateien und relationalen DBMS bis zum ERP. File formats: text files, standard and delimited, XML and d standard d d flat fl files. fil R d and Read d write i other h external data representations such as Binary, Hexadecimal, Octal, EBCDIC and ASCII. Database sources: Microsoft SQL Server/PC, Microsoft Access, Microsoft Excel, Oracle native/XML, Informix, Generic ODBC, Sybase, Teradata, IBM DB2 zOS/Server/PC, MySQL, SAS, SAS/SHARE SAS Scalable SAS/SHARE, S l bl Performance P f D t Data Engine. Enterprise Resource Planning systems: SAP BW, SAP R3, R3 Siebel, Si b l Oracle O l Applications, A li ti P l S ft PeopleSoft. Mainframe database connectivity (OS/390 and z/OS): IBM DB2, VSAM (KSDS and ESDS), ISAM files, IMS, CA-IDMS, ADABAS, CA-Datacom, AS400 supported pp via ODBC,, COBOL,, Teradata,, Oracle, PC files. 5 Copyright © 2008, SAS Institute Inc. All rights reserved. SAP-Integration: Architekturvarianten SAS System S t SAP System S t Querycubes ODBO (MDX) SAP BW SAS ABAP RFC SAS OLAP Server RFC-Server SAP D t SAP-Daten R/3 SAP Metadaten SAP Tabellen SAP Infocubes SAP ODS / InfoObjects Server-Side Join SAS Solutions SAS-Daten Call-RFC C ll RFC Flatfiles DB-Connect Copyright © 2008, SAS Institute Inc. All rights reserved. 6 Di SAS® Enterprise Die E t i Intelligence I t lli Platform Pl tf Data Integration: High-end mit über 30 Jahren Erfahrung 7 Copyright © 2008, SAS Institute Inc. All rights reserved. 5 Schritte zur besseren Datenqualität: Lebenszyklus • Dateninformationen • Kennzahlen • Problemidentifikation • Statusprüfung • Planungsgrundlage • Maßnahmencontrolling • Reduktion Projektrisiko • Transparenz • Datenanreicherung • Datenergänzung • Standardisierung • Validierung, Validierung Parsing • Dublettenerkennung • Haushaltsidentifikation • Datenzusammenführung • Datenkorrekturen Copyright © 2008, SAS Institute Inc. All rights reserved. 8 Die SAS® Data Quality Lösungen: das Prinzip Data Steward SAS® Anwendungsentwickler SAS® Quality Knowledge Base dfPower Studio Fachbereich SAS® Enterprise DI Server QKB IT Bereich …themen- und länderspezifisch! SAS Data Quality Framework inkl. inkl Analytics Copyright © 2008, SAS Institute Inc. All rights reserved. 9 Auff SAS® Data A D t Integration I t ti setzen t mehr als 70 deutsche Top-Unternehmen… Copyright © 2008, SAS Institute Inc. All rights reserved. 10 Nutzen von SAS Data Integration Wartbarkeit komplexer und sehr großer g ((modelliert statt kodiert)) Datenmengen Transparenz durch Metadaten + Code skalierbare Performance (Grid) deutschsprachige Frontends SQL-Know-How nutzend, easy-to-use Investitionsschutz: bewährt, robust, flexibel, plattform- und herstellerneutral g Datenqualität q von DataFlux® integrierte „zukunftssicher, weil SAS…“ Copyright © 2008, SAS Institute Inc. All rights reserved. 11 Copyright © 2006, 2008, SAS Institute Inc. All rights reserved. 12 Syncsort Incorporated 2004 ©© Syncsort Incorporated 2008 © Syncsort Incorporated 2008 1 1 Über Syncsort Incorporated DMExpress baut auf einer soliden Basis auf Speed Weltweiter Topservice & Support Eingesetzt bei über 90% der Fortune 100 Unternehmen Etabliert bei über 12.000 Kunden DMExpress Mehr als 40 Jahre Entwicklungserfahrung für High Performance Software © Syncsort Incorporated 2008 2 DMExpress – IT Herausforderungen As reported by Forrester Research Geschäftsapplikationen stellen ansteigende Herausforderungen an die Unternehmen Daten-Repository wächst pro Jahr um ca. 50% p 35% der Applikationsdaten liegen als Duplikat vor 2006 2005 Jeder erlebt diesen Trend. Zusammen können wir helfen, diese Auswirkungen zu analysieren, Quantifizierung Q g für Verbesserungen, g , und Lösungen g zu liefern. © Syncsort Incorporated 2008 3 Bereitstellung auftragskritischer Anwendungen DMExpress Einsatzmöglichkeiten Monatsumsatz WochenData-Marts umsatz je g Betriebliche Abteilungen Vertr Vertr. Regelmäßige Berichte Monatsumsatz nach Produkt Anwendungen Finanzwesen Rechnungen Vertrieb Auswahl Berechnung ETLProzess Lohn / Gehalt Marketing Ansammlung Bereit für Cubes Data-Warehouse Bereinigen Umformatieren Filtern Bearbeiten Legacy Statistische Analyse DataMining Detaillierter TransaktionsVerlauf Decision-Support Andere Applikationen Hybrid-Strukturen OSS Update-Transaktion CRM Online Datenspeicher © Syncsort Incorporated 2008 Weblog g Editor Web Weblogs Alternative Speicherung Hierarchische Speicherverwaltung 4 DMExpress - Produktstruktur GUI – Workstation WORKSTATION Micro Focus Mainframe Transaction Option (MTO) Support MTO GRID ADM TARGET SRC IMPA SER RVER MTO SOURCE ADM SRC TARGET Impact Analysis SOURCE Advanced Datamanagement Package DMExpress Base DMExpress Base © Syncsort Incorporated 2008 5 DMExpress - Technologie Transformationen entwerfen Transformationen ausführen Sofort Später Auf Ihrem PC Auf Servern In Skripts Aus Ihren Programmen Tasks erstellen Aufträge erstellen Aufträge planen Transformationen definieren Metadatengesteuert Patentierte High Performance Algorithmen Liest direkt Transformiert Daten Schreibt direkt verwertbare INFORMATIONEN RohdatenEingang Datenbanktabellen Flatfiles Pipes Puffer Spreadsheets Datensätze im Arbeitsspeicher XML-Dateien © Syncsort Incorporated 2008 Sortieren Zusammenführen Verknüpfen Aggregieren Kopieren Filtern Berechnen Überprüfen U f Umformatieren ti Datenbanktabellen Flatfiles Pi Pipes Puffer Spreadsheets Datensätze im Arbeitsseicher 6 Datentransformationsmodell Mühelos definierbares Paradigma Aufgabentransformationen auf allen Ebenen Vorgänge auf Quellenebene Beispiel: Tabellen/Dateien Einfache Dateien RDBMS fest/variabel Vorgänge auf AufzeichnungsebeneCHK,35.98 Beispiel: Vorgänge auf Feldebene Beispiel: CHK,83.73 CHK,62.92 SAV,834.23 PERSONAL CHECK,325.25 CASH 10 00 CASH,10.00 BUSINESS CHECK,300.00 Sammeln, Zusammenführen Vereinigen, Sortieren CHK,182.63 SAV,834.23 Filtern, Umformatieren arithmetisch, konditional, Datum-Uhrzeit, PERSONAL CHECK,375.25 ADD FEES Zeichenkette, Format, Musterabgleich © Syncsort Incorporated 2008 CASH 10 00 CASH,10.00 BUSINESS CHECK,360.00 7 DMExpress - Vorteile Die Hochgeschwindigkeitslösung für Ihre Datenmanagement Herausforderungen . Wir beschleunigen ETL-, Data Warehousing-, BI- und andere großvolumige Applikationen. Applikationen Schnell – Prozeßzeiteinsparung p g ca. 30-90% Kostengünstig – Reduktion TCO ca. 15-50% Robust – 40+ Jahre Erfahrung im Bereich High-Performance Innovationen Weltweiter First-Class Service – Experten-Unterstützung 24/7 “ Extreme Beschleunigung mit DMExpress.” © Syncsort Incorporated 2008 8 DMExpress Syncsort Produkte sind bei über 500 Kunden im deutschsprachigen Raum installiert und im produktiven Einsatz (z.B Deutsche Bank, Allianzgruppe, REWE, NIONEX, Siemens AG, RFI, Ford Werke AG, Opel AG, Daimler AG, Vodafone, Deutsche Telekom, Talkline, Telekom Austria, RDG Wien, IBM, EDS, T-Systems, Deutsche BP, Deutsche Lufthansa AG, Lufthansa Cargo, OEBBDLG Einsatz für Data Warehousing Anwendungen liegt geschätzt bei ca. 25-50% Funktionsschwerpunkt: extrem schnelle ETL-Lösung EAI- und EII- Funktionen werden abgedeckt durch Component Software Server Dataquality-Funktionen werden via Drittanbieter-Produktlösungen abgedeckt Schnittstellen: DB2, Oracle, MS SQL Server, Teradata, Redbrick, Sybase, ODBC, C++, VBScript, JScript, XML, Micro Focus Cobol, ACUCOBOL-GT, ISAM, VSAM Keine Einschränkung bei Performance und der Skalierbarkeit seitens des Produktes © Syncsort Incorporated 2008 9 Ronald Körsgen Vertriebsbeauftragter RKOERSGEN @ SYNCSORT.COM Tel.: +49 2102 95469546-0 © Syncsort Incorporated 2008 © Syncsort Incorporated 2008 10 BARC@TDWI -> Speed Dating © Talend – All Rights Reserved Talend Erster Hersteller einer reinen Open Source DatenintegrationsLösung Gegründet 2005 nach drei Jahren F&E Unterstützt von führenden Venture Capital Firmen Weltweite Niederlassungen und Anwender © Talend – All Rights Reserved Slide 2 Philosophie Talend’s Verpflichtung Eine stabile OpenSource Datenintegration Lösung, basierend auff den d neuesten t verfügbaren fü b Technologien T h l i Die Leistung und der Funktionsumfang erreicht oder übertrifft die führenden kommerziellen Anwendungen Industriestandards: Eclipse RCP, Java, Perl, SQL GPL v2 und Subskriptionen Investitionsschutz Technischer Support, Expert Consulting und Schulung Kontinuierliche Investitionen in R&D Sofortiger Nutzen Bessere Geschwindigkeit, hohe Skalierung Hohe Benutzerfreundlichkeit und umfangreiche Schnittstellen Zweckmäßiger Einsatz ü e e Entwicklungszeiten c u gs e e Kürzere Risikominimierung © Talend – All Rights Reserved Slide 3 Talend Open Studio Geschäftsorientierte Prozessmodellierung Einbindung g der Businessanwender Gewährleistung der notwendigen Kommunikation zwischen IT und LOBs während der Umsetzungsphase Graphische G hi h E Entwicklung t i kl Steigerung von Produktivität und der Umsetzung Schneller Aufbau von Prototypen Umgesetzte Mappings/Transformationen können einfach im Synchronizationsprozess wiederverwendet werden (falls gewünscht) ü ht) Geschwindigkeit & Stabilität Duale Architektur: ETL + ELT Ausführung im Grid Zahlreiche Schnittstellen zur Unterstützung g diverser Systeme y Native Schnittstellen zu Source und Target Systemen © Talend – All Rights Reserved Slide 4 Talend Integration Suite Erhöhte Produktivität bei der Entwicklung Verteiltes Repository Ermöglicht den Austausch in großen Projekt-Teams Unterstützt “Best Best-Practices Practices” Erlaubt die Wiederverwendung von Code Unternehmensweiter Einsatz maximale Skalierbarkeit Verteilte V t ilt A Ausführung, füh nahe h an d der Q Quelle ll und d am Zi Ziell Zentralisierte Überwachtung von Integrations-Prozessen Integrations Prozessen Montioring und Alarmierung auf einen Blick Bindet sich nahtlos in Network Operations Center ein © Talend – All Rights Reserved Slide 5 Einfach & Produktiv Graphische Entwicklung Steigerung g g von Produktivität und der Umsetzung g Kombiniert graphische und technische Sicht Drag-and-Drop Mapping-Interface Umfangreiche Komponenten und Schnittstellen Bibliothek Beruht auf Industriestandards Java, Perl, SQL © Talend – All Rights Reserved Slide 6 Geschwindigkeit & Stabilität Schnelle, stabile und skalierbare Ausführung Verteilter Grid Betrieb Mittels Standard-Hardware Auf Kleinen kostengünstigen oder High-End Servern Steigerung durch Zusammenfassung von Ressourcen Code-Erzeugung nach Industriestandards Hochoptimierte Engines (Java oder Perl) Unterstützt sowohl ETL als auch ELT Ausführung von Prozessen in verteilen Systemen (generierter Code) oder direkt in der Datenbank Ausführung nahe der Datenquellen © Talend – All Rights Reserved Slide 7 Schnittstellen Zahlreiche Schnittstellen zur Unterstützung diverser Systeme 200+ direkt einsetzbare Konnektoren Geschäftsanwendungen: SugarCRM, SalesForce.com, LDAP, Navision, SAP, … Datenbanken / RDBMS: Oracle, MySQL, DB2, SQL Server, Sybase, Ingres, PostgreSQL… PostgreSQL Web: Web Services, FTP, HTTP, POP3, SMTP… Files: Delimited, positional, XML, Excel… © Talend – All Rights Reserved Slide 8 Ausgewählte Kunden von Talend Banken &V Versicherung i h Dienstleister Hersteller & Handel Öffentlicher Sektor & Bildung © Talend – All Rights Reserved Slide 9 Gestellte Fragen Wie viele Installationen gibt es im deutschsprachigen Raum (Referenzen)? Bei OSS-Applikationen schlecht messbar, da keine Lizenzierung notwendig ist. -> Folie: „Ausgewählte Kunden von Talend” Wie viel Prozent der Anwender nutzen das Werkzeug g für Data Warehousing? 50% Welche Funktionen werden angeboten (ETL (ETL, EAI EAI, EII EII, Datenqualität, etc.)? ETL, Datenqualität und Möglichkeiten EAI Funktionen zu nutzen Welche Schnittstellen gibt es? Folie: „Schnittstellen“ Welche Konzepte stellen Performance und Skalierbarkeit sicher? Folie : „Geschwindigkeit & Stabilität” © Talend – All Rights Reserved Slide 10 Talend Open Studio www.talend.com/download.php Animierte Beispiele p ((How-To‘s)) http://www.talendforge.org/tutorials/menu.php Dokumentation http://www.talend.com/resources/documentation.php Martin Lange [email protected] © Talend – All Rights Reserved