Beam me up! OWB Migration nach 11gR2

DOAG Konferenz 2011
Beam me up!
OWB Migration
nach 11gR2
Beat Flühmann
Senior Consultant BI & DWH
Trivadis AG
Zürich, 16. November 2011
BASEL
1
BERN
LAUSANNE
ZÜRICH
DÜSSELDORF
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
FRANKFURT A.M.
FREIBURG I.BR.
HAMBURG
MÜNCHEN
STUTTGART
WIEN
Trivadis Facts & Figures
11 Trivadis Niederlassungen mit über 550
Mitarbeitern
Hamburg
Finanziell unabhängig und nachhaltig
profitabel
Kennzahlen 2010
Düsseldorf
 Umsatz CHF 101 / EUR 73 Mio.
~180 MA
 Dienstleistungen für über 700
Kunden in mehr als 1‘800 Projekten
Frankfurt
 Über 170 Service Level Agreements
Stuttgart
Wien
Freiburg
Basel
Bern
Lausanne
2
2
Zürich
München
~20 MA
~350 MA
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
 Mehr als 5'000 Trainingsteilnehmer
 Forschungs- und Entwicklungsbudget: CHF 5.0 / EUR 3.6 Mio.
Das Besondere
Kundenindividuelle
Lösungskompetenz und
Herstellerunabhängigkeit
Technologiekompetenz
 bietet fundierte Methodenkenntnisse und eigenentwickelte
Vorgehensweisen
 garantiert wiederholbare Qualität und Realisierungssicherheit
 hat über 17 Jahre Expertise in Oracle und Microsoft
 verfügt über ein eigenes Technology Center und setzt auf
technologische Exzellenz
Lösungs- und
Integrations-Know-how
 hat eine breite, branchenübergreifende Kundenbasis und jährlich über
1800 Projekte
 verbindet technologisches Spezialistenwissen mit dem Verständnis für
die Business-Spezifika des Kunden
Begleitung über den
gesamten IT-ProjektLifecycle
3
 begleitet den gesamten IT-Projekt-Lifecycle mit einem modularen
Dienstleistungsportfolio
 bietet für jeden „Reifegrad“ die passende Dienstleistungs- und
Lösungskombination
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Der Referent
Beat Flühmann
 dipl. Informatik Ingenieur (ETH Zürich)
 seit 2004 bei Trivadis
 vorher 7 Jahre bei Oracle (Schweiz)
BI & DWH
Oracle
 seit 1995 tätig als Consultant in Data Warehousing & Business
Intelligence
 Oracle 7, 8i, 9i 10g, 11g
Lösungs- und
Beratungs-Know-how
 Consulting
 Projektleitung
 Review
 Performance-Tuning
Beratung über den
gesamten DWH/BIProjekt Lifecycle
 Analyse & Design
 Architektur von Data Warehouses
 Datenmodellierung
 ETL inklusive Data Profiling
 Reporting / BI Tools
4
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
AGENDA
1. Motivation für eine OWB Migration
2. Vorabklärungen
 Upgrade oder Migration
3. Installationsvorgang
 OWB Server
 Oracle Workflow
 OWB Client
4. OWB Migration




5
Export
Setup
Import
Deployment
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Motivation für eine OWB Migration
 Datenbank-Upgrade
 auslaufender Support
OWB
GA
Premier
Extended
Sustaining
 neue Funktionalitäten
Release
Date
Support
Support
Support
Ends
Ends
Ends
Jul
Oct
Not
Oct
2003
2007
Available
2010
Apr
Jul
Not
Jul
2004
2007
Available
2010
Jul
Jul
Jul
Indefinite
2005
2010
2013
Aug
Aug
Aug
2007
2012
2015
Sep
Jan
Jan
2009
2015
2018
 Lizenzkosten
9.2
 bessere Performance
 … oder soll besser gewartet werden,
bis OWB und ODI ganz verschmelzen?
10.1
10.2
11.1
11.2
6
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Indefinite
Indefinite
Oracle Warehouse Builder & Oracle Data Integrator
2007
OWB 11.1
2008
ODI 10.1
2009
OWB 11.2
2010
ODI 11.1
ODI 11.2
2011
2012
Converged data
integration platform
2013
7
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Design- und Runtime-Repository Umgebung
Design Center
Deploy, Execute
Control Center
Manager
Design-Datenbank
Design
Repository
Browser
Design
Repository
Design
Metadaten
Design
(History)
Local OC4J
Browser
Server
Reporting
8
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Control Center Service
Ziel-Datenbank
Runtime
Repository
Runtime
Metadaten
Deployments
& Executions
(History)
Target
Schema
Target
Schema
AGENDA
1. Motivation für eine OWB Migration
2. Vorabklärungen
 Upgrade oder Migration
3. Installationsvorgang
4. OWB Migration





9
Setup OWB11gR2
Validierung
Upgrade
Export / Import
Deployment
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Vorabklärungen
 Verfügbarkeit
 Server
- in Datenbank integriert seit 11gR1
 Client
- mit Datenbank mitinstalliert
- auch auf 64-bit, aber nicht supported!
- OWB11gR2 Standalone Software
 Kompatibilität Client vs Server
10
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Upgrade oder Migration?
 Upgrade
 gesamtes Repository auf einmal
- in-place Upgrade (gleiche DB)
- via MDL Datei
 kein Redeployment nötig
 historisierte Design- und Runtime-(Deployments, Executions) AuditMetadaten
– nur OWB10gR2 und 11gR1
 Migration




–
11
Export & Import der Design Metadaten
nur einzelne Projekte
auch OWB10gR1 und 9iR2
nur aktuelle Metadaten
Redeployment
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
AGENDA
1. Motivation für eine OWB Migration
2. Vorabklärungen
3. Installationsvorgang
 OWB Server
 Oracle Workflow
 OWB Client
4. OWB Migration
12
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Installation OWB Server
 Oracle Database 11gR2
 Keine zusätzliche Installation von OWB notwendig
 OWB 11.2.0.2 Megapatch V3 (12874883)
 Verfügbar auf allen Plattformen mit Oracle 11gR2
 OWB11gR2 Standalone Software
 OWB11gR2 auf anderen DB-Versionen
- Oracle 10gR1, Oracle 10gR2, Oracle 11gR1
 (OWB Design Client auf anderer Plattform)
 (OWB Control Center Agent auf anderer Plattform)
DB
10.2
10gR1
X
10gR2
X
11gR1
11gR2
13
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
OWB
10.2.0.4/5
11.1
11.2
X
X
X
X
X
X
X
Installation OWB Server (Forts)
 neue Datenbank Oracle 11gR2
SQL>
SQL>
SQL>
SQL>
SQL>
connect sys as sysdba
@?/owb/UnifiedRepos/cat_owb.sql
@?/owb/UnifiedRepos/reset_owbcc_home.sql
alter user owbsys
identified by ... account unlock;
alter user owbsys_audit identified by ... account unlock;
 Upgrade Oracle 11gR1
SQL> connect sys as sysdba
SQL> @?/owb/UnifiedRepos/cat_owb_reposupgrade.sql
SQL> @?/owb/UnifiedRepos/reset_owbcc_home.sql
14
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Installation Oracle Workflow
 Verwendung von Process Flows in OWB
 Workflow 11i
$ORACLE_HOME/owb/wf/install/Wfinstall.csh/bat
15
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Installation OWB Client
 Design Center
Repository Assistant
Control Center Manager
 Verfügbarkeit auf Plattform abklären
 auf Server vorinstalliert (auch 64 bit, aber nicht supported!)
 Exakt selbe Komponenten Release Nummer wie die Datenbank
16
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
AGENDA
1. Motivation für eine OWB Migration
2. Vorabklärungen
3. Installationsvorgang
4. OWB Migration





17
Setup OWB11gR2
Validierung
Upgrade
Export / Import
Deployment
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
OWB9gR2: Repositories
 unterschiedliche Design, Runtime und Target Repositories
 je ein eigenes Schema
Oracle Instance
Control Center
Service
Design Repository
Owner:
Administrator:
18
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Runtime
Repository
Target
Target
Repository
Repository
OWB10gR2: OWB Unified Repository
 n Unified OWB Repositories
 je ein eigenes Schema und je ein Control Center
Oracle Instance
19
Control Center
Service 1
Control Center
Service 2
Repository 1
Repository 2
Owner:
Owner:
Administrator:
Administrator:
User:
User:
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
OWB11gR1/R2: Workspaces
 pro DB ein OWB Repository (OWBSYS)und ein Control Center
 mehrere Workspaces pro Repository möglich
Oracle Instance
Control Center Service
Repository Owner OWBSYS
Workspace Owner
20
Workspace Owner
Workspace 1
Admin:
Workspace 2
Admin:
Workspace 3
Admin:
User:
User:
User:
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
OWB11gR2 Setup: Workspace
21
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Lizenzmodell seit OWB10gR2
Enterprise ETL
Option
Data Profiling
and
Quality Option
Connectors
Option
ETL Core Features
ohne Aufpreis in der DB Lizenz enthalten
22
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Lizenzmodell ab OWB11gR2
$23‘000.pro Prozessor
Oracle
Data Integrator
Enterprise
Edition
Data Profiling
and
Quality Option
Connectors
Option
ETL Core Features
ohne Aufpreis in der DB Lizenz enthalten
23
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Änderung Lizenzmodell
The following features, previously licensed with the Oracle Warehouse Builder ETL Option,
are no longer licensed with the Oracle Database. Instead, they are licensed via the Oracle Data
Integrator Enterprise Edition:

















24
Slowing Changing Dimensions (SCD) Type 2 and 3
XML Files as a target
Transportable ETL modules, multiple configurations, and pluggable mappings
Operators for pluggable mapping, pluggable mapping input signature, pluggable mapping output
signature
Design Environment Support for RAC
Target load ordering
Seeded spatial and streams transformations
Process Flow Activity templates
Process Flow variables support
Process Flow looping activities such as For Loop and While Loop
Process Flow Route and Notification activities
Metadata lineage and impact analysis
Metadata change propagation
Schedulable Mappings and Process Flows
Metadata Extensibility
Deployment to Discoverer EUL
Deployment to Oracle BI Beans catalog
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
OWB11gR2 Struktur
Datenbank
1
1
Repository
Oracle Instance
1
n
Workspace
OWB Repository
1
n
Workspace A
Workspace B
Project
Project 1
1
n
Module X
Module
Module Y
1
1
Oracle
25
File
Process
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Project 2
Project 3
Datenbankuser für OWB
OWBSYS
 OWB Repository (Design und/oder Runtime Repository)
OWBSYS_AUDIT *
 Zugriff von Control Center Agent auf Runtime Repository
[Workspace Owner 1], [Workspace Owner 2] *
 Administrator des Workspaces
[OWB User 1], [OWB User 2] *
 Entwickler mit Zugriff auf Workspace
[Target Schema 1], [Target Schema 2]
 Zielschemas
* Diese User haben keinen eigenen Objekte
26
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
AGENDA
1. Motivation für eine OWB Migration
2. Vorabklärungen
3. Installationsvorgang
4. OWB Migration





27
Setup OWB11gR2
Validierung
Upgrade
Export / Import
Deployment
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
1) Validierung Design Metadaten
 Altlasten eliminieren
 Ausgangsdaten müssen fehlerfrei sein
 weniger Folgefehler
 Konsistenzprüfung
 Referenz-Log
 foreach ProjName [OMBLIST PROJECTS] {
OMBVALIDATE PROJECT ‘$ProjName’ …
}
28
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
AGENDA
1. Motivation für eine OWB Migration
2. Vorabklärungen
3. Installationsvorgang
4. OWB Migration





29
Setup OWB11gR2
Validierung
Upgrade
Export / Import
Deployment
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Upgrade von OWB10gR2
 Vorbereitung
SQL>
SQL>
SQL>
SQL>
SQL>
connect sys as sysdba
@?/owb/UnifiedRepos/cat_owb.sql
@?/owb/UnifiedRepos/reset_owbcc_home.sql
alter user owbsys identified by ... account unlock;
alter user owbsys_audit identified by ... account unlock;
 Upgrade mit Repository Assistant
 Bestehendes Repository wird in MDL-Files exportiert und in OWBSYS
importiert
1.
2.
3.
 auch über Datenbankgrenzen hinweg
30
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Upgrade von OWB11gR1
 Vorbereitung
SQL> connect sys as sysdba
SQL> @?/owb/UnifiedRepos/cat_owb_reposupgrade.sql
SQL> @?/owb/UnifiedRepos/reset_owbcc_home.sql
 Upgrade mit Repository Assistant
 Bestehendes Repository in OWBSYS wird upgraded
1.
2.
31
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
AGENDA
1. Motivation für eine OWB Migration
2. Vorabklärungen
3. Installation
4. OWB Migration





32
Setup OWB11gR2
Validierung
Upgrade
Export / Import
Deployment
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Export aus bestehendem OWB Release
 Export mit Design Center
1. Public Project
2. Locations
& Control Centers
3. Projekte (einzeln)
 Analyse der Logs
 foreach Projekt [OMBLIST PROJECTS] {
OMBCC ‚$Projekt‘
OMBEXPORT MDL_FILE ‘$Projekt.mdl’ …
}
33
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Import in OWB11gR2 Design Center
 Import mit Design Center 11gR2
1. Public Project
2. Locations
& Control Centers
3. Projekte (einzeln)
 Zwischenschritt über 11gR2-MDL-Datei
 foreach Projekt {Projekliste} {
OMBIMPORT MDL_FILE ‘$Projekt.mdl’ …
}
34
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Analyse Import Logs
 Strukturprobleme
 Lizenzverletzungen
 Migrations-Bugs
 Property Settings bei Merge
 striktere Validierung
- ALL_CONSTRAINTS auf Tabellen ohne Constraints
- Bound von Objekten über Projektgrenzen in OWB10gR2
• Konzept „nicht-Oracle“ Datenbanken
35
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
AGENDA
1. Motivation für eine OWB Migration
2. Vorabklärungen
3. Installationsvorgang
4. OWB Migration





36
Setup OWB11gR2
Validierung
Upgrade
Export / Import
Deployment
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
Deployment
 Registrierung der Locations
 Deployment der Objekte
 Vorsicht bei „datenhaltenden“ Objekten (Tabellen, MViews, Sequences)
 Testing ….
37
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
DEN TRIVADISSTAND FINDEN
SIE AUF
Trivadis AG
Beat Flühmann
Europastr. 5
CH-8152 Glattbrugg/Zürich
EBENE 3,
STAND NR. 304
BASEL
38
BERN
LAUSANNE
ZÜRICH
DÜSSELDORF
2011 © Trivadis
Beam me up! OWB Migration nach 11gR2
6. November 2011
FRANKFURT A.M.
Tel. +41-44-808 70 20
Fax +41-44-808 70 21
[email protected]
www.trivadis.com
FREIBURG I.BR.
HAMBURG
MÜNCHEN
STUTTGART
WIEN