Neuerscheinungen 2014Stand: 2020-02-01 |
Schnellsuche
ISBN/Stichwort/Autor
|
Herderstraße 10 10625 Berlin Tel.: 030 315 714 16 Fax 030 315 714 14 info@buchspektrum.de |
Christian Garbsch, Dominik Kroner
(Beteiligte)
Business Intelligence Automatisierung durch Data Vault
Umsetzungen mit Microsoft SQL Server Integration Services und SAS Base
2014. 120 S. m. 36 Abb. 27 cm
Verlag/Jahr: DIPLOMICA 2014
ISBN: 3-8428-7974-1 (3842879741)
Neue ISBN: 978-3-8428-7974-4 (9783842879744)
Preis und Lieferzeit: Bitte klicken
Das Data Vault ist eine alternative Modellierungsvariante für Enterprise Data Warehouses. Durch die Verwendung von drei Entitätstypen verfolgt es eine strikte Trennung von Geschäftsschlüsseln, deren Zusammenhängen sowie der Kontextinformationen. Die dadurch mögliche Flexibilität positioniert Data Vault als Kompromiss zwischen bereits bewährten Architekturvarianten. Hinzu kommt der Anspruch eine einzige Version der Fakten zu schaffen, indem alle Quelldaten im ersten Schritt nur kopiert und nicht verändert werden. Gemeinsam mit den Regeln für die drei Entitätstypen stellt dies eine ideale Ausgangslage zur automatisierten Befüllung eines DWHs dar. Die Menge an bestehender Automatisierungssoftware beweist das Automatisierungspotenzial von Data Vault, wobei hinsichtlich der Befüllung lediglich zwei Ansätze verwendet werden: der dynamische Ladeprozess sowie die Generierung eines Ladeprozesses. Dieses Buch soll die konkrete Umsetzung sowie Vor- und Nachteile beider Ansätze darstellen.
Textprobe:
Kapitel 3, Automatisierungsmöglichkeiten von Data Vault:
Bei dem DV-Modell bietet es sich an, eine Befüllung des Schemas zu automatisieren. Ermöglicht wird dies vor allem dadurch, dass das Modell immer aus den drei Entitätstypen Hub, Link und Satellit besteht und diese vom Grundsatz her immer gleich aufgebaut sind. Ein Ansatz für eine Automatisierung ist die metadatengesteuerte Generierung von Ladeprozessen. Bei diesem Vorgehen werden auf Grundlage von Metadaten komplette ETL-Strecken, wie beispielsweise die Befüllung eines Hubs von dem Quellsystem bis in das DV, generiert. Ein weiterer Ansatz ist die Erstellung eines einzelnen metadatengesteuerten Ladeprozesses. Dieser Prozess kann durch Metadatensteuerung alle Tabellen mit gleicher Verarbeitungslogik befüllen. Dies bietet sich besonders durch die einfache Verarbeitungslogik eines DV an. Beide Vorgehensweisen werden später näher erläutert. Der Vorteil der Metadatensteuerung beider Ansätze besteht darin, dass der Umgang mit der Automatisierung für einen Nutzer relativ einfach ist. Grund dafür ist, dass dieser nicht in irgendeiner Art und Weise in die Automatisierung eingreifen muss, sondern alle Änderungen, wie beispielsweise im DV, in den Metadaten erfolgen können. Sollten zum Beispiel neue Teile in das DV aufgenommen werden müssen diese nur dort definiert werden.
Der Ansatz des metadatengesteuerten Ladeprozesses wird allerdings von den wenigsten ETL-Tools unterstützt. Beispielsweise ist es laut Dörffler + Partner mit Informatica PowerCenter nicht ohne weiteres möglich. Microsoft SSIS unterstützt dieses Vorgehen ebenfalls nicht, wobei es von Drittanbietern, beispielsweise cozyrock, zusätzliche Pakete gibt, durch welche diese dynamische Prozesssteuerung wiederum möglich ist. Das einzige ETL-Tool, welches in Vorbereitung auf dieses Buch untersucht wurde und die Möglichkeit für einen metadatengesteuerten Ladeprozess bietet, ist Pentaho Kettle. Weiterhin denkbar ist eine solche Umsetzung mittels einer herkömmlichen Programmiersprache. Daraus entstand die Motivation im Rahmen dieser Untersuchung eine Umsetzung mit der Sprache SAS Base zu entwickeln. Diese Sprache ist auf die Verarbeitung großer Datenmengen ausgelegt und bringt viele bereits integrierte Möglichkeiten für die Verarbeitung von Daten mit sich. Im Folgenden werden beide Varianten der Metadatensteuerung näher erläutert.
3.1, Bestehende Automatisierungssoftware für Data Vault:
Es sind bereits einige Anwendungen mit diversen Automatisierungsfunktionen hinsichtlich des DV verfügbar. Die laut Dörffler + Partner bekanntesten werden in den folgenden vier Unterkapiteln betrachtet, wobei der Fokus auf den Möglichkeiten der automatisierten Befüllung eines DWH liegt. Alle Lösungen sind entweder speziell für DV entwickelt worden oder unterstützen es als Option neben anderen Modellierungsvarianten. Bis auf das PDI DV Framework stellen alle Lösungen umfassende DWH-Verwaltungssoftware dar. Sie können zum Beispiel eigenständig Metadaten erzeugen und pflegen, nötige Datenbankschemata aufbauen und befüllen sowie Änderungen daran verwalten.
Aufgrund des vorhandenen Angebots stellt sich die Frage, weshalb für dieses Buch zwei Eigenentwicklungen realisiert wurden. Der Hauptgrund ist, einen möglichst gerechten Vergleich der methodisch unterschiedlichen Ansätze zu ermöglichen. Von der bereits erhältlichen Software wäre das PDI DV Framework die einzige Umsetzung eines dynamischen Ladeprozesses. Es hat aber einen wesentlich geringeren Funktionsumfang als die anderen vorgestellten Anwendungen. Würde man diese Software als Vertreter für einen dynamischen Ladeprozess verwenden, wäre die Frage, welche Software zur Generierung der Prozesse als Vergleich herangezogen werden könnte. Die beiden für diese Untersuchung entwickelten Anwendungen hingegen sind von Anfang an darauf ausgelegt, sich möglichst gut miteinander vergleichen zu lassen. Sie werden beide auf identischen virtuel