ETL-Schritte

Die einzelnen Verarbeitungsschritte werden in etl_steps definiert. Beispiel:

<#assign etl_steps = [
{"etl_job":"kern_special_demo_special",
 "uniquename":"kern_special_demo_unload",
 "name":"Demo-Daten entladen",
 "type":"UNLOAD",
 "parent":""},

{"etl_job":"kern_special_demo_special",
 "uniquename":"kern_special_demo_create",
 "name":"Demo-Zieltabelle anlegen",
 "type":"DOQUERY",
 "parent":""},

{"etl_job":"kern_special_demo_special",
 "uniquename":"kern_special_demo_load",
 "name":"Demo-Daten laden",
 "type":"LOAD",
 "parent":""}
] />

Die wichtigsten Angaben sind:

Attribut	Funktion
etl_job	Technischer Name des Jobs, zu dem der Step gehört.
uniquename	Technisch eindeutiger Name des ETL-Schrittes.
name	Bezeichnung des Schrittes.
type	Art des auszuführenden ETL-Schrittes.
parent	Optionaler übergeordneter Step. Bei einem einfachen linearen Ablauf bleibt dieser Wert leer.

Die Reihenfolge der Einträge in etl_steps bestimmt die Ausführungsreihenfolge. Das Template unterstützt folgende Step-Typen:

Typ	Funktion
`UNLOAD`	Ergebnis einer SQL-Abfrage in eine Datei schreiben
`LOAD`	Datei in eine Datenbanktabelle laden
`DOQUERY`	SQL-Befehl direkt ausführen
`DOSQL`	SQL-Skriptdatei ausführen
`MSG`	Ausgabe beziehungsweise Nachricht innerhalb der Verarbeitung

Die Eigenschaften der einzelnen ETL-Schritte werden über etl_step_properties definiert. Der allgemeine Aufbau lautet:

<#assign  etl_step_properties = [
{"etl_step":"NAME_DES_SCHRITTES",
 "prop_name":"PROPERTY",
 "prop_value":"WERT"}
] />

etl_step verweist dabei auf den uniquename eines zuvor definierten ETL-Schrittes. Je nach Step-Typ stehen unterschiedliche Properties zur Verfügung. Dazu mehr in den folgenden Abschnitten.