Für die Administration des DataWarehouse sind Shellscripte vorbereitet, die flexible Werkzeuge zur Datenbankadministration bereitstellen. Die Shellscripte werden in den Update-Scripten aufgerufen, können aber auch zur manuellen Administration benutzt werden. Die wichtigsten Bereiche sind die Masken-Verwaltung und die Ladescripte im Umgang mit Tabellen sowie allgemeine Scripte.
Alle Scripte befinden sich unter $SUPERX_DIR/db/bin, deshalb muss dieser Pfad in der Umgebungsvariable PATH enthalten sein. Die Scripte wurden unter UNIX entwickelt (ohne Endung oder Endung .x), einige davon sind auch nach DOS portiert worden (erkennbar an der Endung .bat).
Einige Scripte lauten "sx_auto_"..., dies bedeutet, dass die Scripte ohne Sicherheitsabfrage ausgeführt werden.
Voraussetzung für den Ablauf der Scripte ist die Eintragung der korrekten Umgebungsvariablen in $SUPERX_DIR/db/bin/SQL_ENV bzw. $SUPERX_DIR\db\bin\sql_env.bat. Wenn der Client jdbc verwendet wird, muss ausserdem die korrekte DB_PROPERTIES gesetzt sein.
Das Script $SUPERX_DIR/db/bin/SQL_ENV steuert die Umgebung und ist für den Betrieb der Kernmodul-Scripte unverzichtbar. Bei einem Update des SuperX-Kernmoduls wird die vorhandene SQL_ENV nicht überschrieben. Änderungen der ausgelieferten SQL_ENV.sam müssen deshalb geprüft und bei Bedarf manuell in die produktive SQL_ENV übernommen werden.
Ab Kernmodul 6.0 liegt $SUPERX_DIR innerhalb der SuperX-Webanwendung:
Folgende Variablen müssen geprüft und passend zur Installation gesetzt werden:
| Variable | Erläuterung |
|---|---|
WEBAPP | Wurzelverzeichnis der SuperX-Webanwendung |
SUPERX_DIR | Datenbank- und Modulbereich unter $WEBAPP/WEB-INF/conf/edustore |
DATABASE | Datenbanksystem; für SuperX ist POSTGRES einzutragen |
DBNAME | Name der SuperX-Datenbank, standardmäßig superx |
SX_CLIENT | Verwendeter Datenbankclient; möglich sind psql oder jdbc |
DB_PROPERTIES | Pfad zur db.properties, standardmäßig $WEBAPP/WEB-INF/db.properties |
JAVA_HOME | Installationspfad der Java-Runtime; für Kernmodul 6.0 wird OpenJDK 17 verwendet |
JAVA_OPTS | Java-Optionen für Kernmodul-Shellscripte wie DOSQL, DOQUERY und die Upgrade-Scripte |
CATALINA_OPTS | Java-Optionen für einen manuell installierten oder mit SuperX betriebenen Tomcat |
MAILPROG | Mailprogramm unter UNIX, beispielsweise s-nail oder mailx |
LOGMAIL/ERRORMAIL | Mailadressen für Log- und Fehlermeldungen der ETL-Scripte |
LOGGING_PROPERTIES | Logging-Konfiguration des JDBC-Clients |
PGHOST | Hostname des PostgreSQL-Servers |
DBDELIMITER | Trennzeichen für Unload-Dateien, standardmäßig ^ |
JDBC_CLASSPATH | Classpath der JDBC-Treiber, Klassen und benötigten Jakarta-Bibliotheken |
XML_CLASSPATH | Classpath der XML-Werkzeuge |
FM_DEBUG | Wenn FM_DEBUG=true gesetzt wird, bleiben die von DOSQL erzeugten temporären SQL-Dateien zur Fehlersuche erhalten |
Die Java-Optionen werden an dieser Stelle zentral dokumentiert. Andere Artikel sollen auf diesen Abschnitt verweisen, damit die Konfiguration nicht mehrfach gepflegt werden muss.
Tragen Sie folgenden vollständigen Block in die SQL_ENV ein. Bei einem Tomcat aus den Ubuntu- oder Debian-Paketen wird derselbe Block in /etc/default/tomcat10 verwendet. Passen Sie die Speicherwerte an die Größe des Servers an:
Wenn der eigene Tomcat CATALINA_OPTS verwendet, tragen Sie stattdessen folgenden vollständigen Block in dessen Startumgebung ein:
Zusätzliche Optionen für JMX, eigene Truststores oder besondere LDAP-Konfigurationen werden nur bei Bedarf ergänzt. Ungeschützte JMX-Ports und die Deaktivierung von Sicherheitsprüfungen gehören nicht in die allgemeine Standardkonfiguration.
Tomcat 10 verwendet die Jakarta-Servlet-API. Der JDBC_CLASSPATH muss deshalb die Jakarta-Bibliothek und $WEBAPP/WEB-INF/classes enthalten:
Ein alter Classpath mit servlet-api.jar kann zu java.lang.NoClassDefFoundError: jakarta/servlet/http/HttpServlet führen.
Die SQL_ENV sollte in jeder Shell geladen werden, in der Kernmodul-Scripte ausgeführt werden:
Der Aufruf kann beispielsweise in ~/.bashrc oder ~/.profile eingetragen werden.
Die SuperX-Shellscripte lassen sich auch in HISinOne-BI unter Linux nutzen. Eine Beispielkonfiguration befindet sich unter $WEBAPP/WEB-INF/conf/edustore/db/bin/SQL_ENV_his1.sam. Setzen Sie auch dort WEBAPP, SUPERX_DIR, JAVA_HOME, DB_PROPERTIES und den Jakarta-Classpath entsprechend der tatsächlichen Installation.
Normalerweise wird für HISinOne-BI der JDBC-Client verwendet:
Der PropAdmin ist ein kleines Werkzeug, um den Zugriff auf JDBC-Datenbanken zu testen und die Verbindungsparameter in einer Properties-Datei zu speichern.
Eine Musterdatei für PostgreSQL liegt unter
$WEBAPP/WEB-INF/db-postgres.properties
Für den Aufruf unter Linux wird die zu bearbeitende Properties-Datei über die Umgebungsvariable PROPFILE festgelegt.
Wechseln Sie zunächst in das WEB-INF-Verzeichnis der SuperX-Webanwendung:
cd $WEBAPP/WEB-INF
Anschließend setzen Sie die zu bearbeitende Properties-Datei:
export PROPFILE=db_test.properties
Wenn PROPFILE nicht gesetzt ist, verwendet propadmin.x die Umgebungsvariable DB_PROPERTIES.
Danach wird der PropAdmin aufgerufen:
./conf/edustore/db/bin/propadmin.x
Der Dateipfad zur Properties-Datei wird dabei nicht als Parameter an propadmin.x übergeben, sondern über PROPFILE bzw. alternativ DB_PROPERTIES festgelegt.
Beim Aufruf können die Verbindungsparameter wie
driverNameconnectionURLconnectionNamebestätigt oder geändert werden. Anschließend kann das Passwort eingegeben und die Datenbankverbindung getestet werden.
Der benötigte JDBC_CLASSPATH ist normalerweise bereits über die SuperX-SQL-Umgebung gesetzt. Falls dies nicht der Fall ist oder beim Aufruf Klassen wie der JDBC-Treiber nicht gefunden werden, kann er beispielsweise folgendermaßen gesetzt werden:
export JDBC_CLASSPATH="$WEBAPP/WEB-INF/classes:$WEBAPP/WEB-INF/lib/*"
Soll lediglich ein Passwort im von SuperX verwendeten Format sx_des... erzeugt werden, ist dafür kein vollständiger PropAdmin-Aufruf notwendig. Das Passwort kann direkt über de.memtext.util.CryptUtils verschlüsselt werden.
Je nach Umgebung unterscheidet sich der benötigte Classpath.
In einer HISinOne-Umgebung wechseln Sie in das Verzeichnis
$WEBAPP/WEB-INF/classes
cd $WEBAPP/WEB-INF/classes
Da sich die kompilierte Klasse de.memtext.util.CryptUtils unterhalb dieses Verzeichnisses befindet, kann als Classpath einfach . verwendet werden.
In einer SuperX-Umgebung wechseln Sie dagegen in das Verzeichnis
$WEBAPP/WEB-INF/lib
cd $WEBAPP/WEB-INF/lib
Als Classpath wird die SuperX-JAR der installierten Version angegeben, zum Beispiel:
superx6.0.jar
Für HISinOne:
printf '%s\n' 'System.out.println("sx_des" + de.memtext.util.CryptUtils.encryptStringDES("anfang12"));' '/exit' | jshell -q --class-path .
Für SuperX, beispielsweise mit Version 6.0:
printf '%s\n' 'System.out.println("sx_des" + de.memtext.util.CryptUtils.encryptStringDES("anfang12"));' '/exit' | jshell -q --class-path superx6.0.jar
Die Ausgabe enthält das verschlüsselte Passwort, zum Beispiel:
sx_des#-107#-62#90#114#112#-9#-73#86#116#120#-97#-28#-54#-55#11#8
Der komplette Wert einschließlich sx_des kann anschließend beispielsweise als
connectionPassword=sx_des#...
in eine Properties-Datei eingetragen werden.
Achtung: Bei dieser Variante steht das Klartextpasswort direkt im Shell-Befehl und kann dadurch in der Shell-History gespeichert werden.
Um zu vermeiden, dass das Klartextpasswort im Befehl bzw. in der Shell-History erscheint, kann es zunächst verdeckt eingelesen werden:
Für HISinOne:
read -rsp 'Passwort: ' PW; echo
printf '%s\n' 'System.out.println("sx_des" + de.memtext.util.CryptUtils.encryptStringDES(System.getenv("PW")));' '/exit' \
| PW="$PW" jshell -q --class-path .
unset PW
Für SuperX, beispielsweise mit Version 6.0:
read -rsp 'Passwort: ' PW; echo
printf '%s\n' 'System.out.println("sx_des" + de.memtext.util.CryptUtils.encryptStringDES(System.getenv("PW")));' '/exit' \
| PW="$PW" jshell -q --class-path superx6.0.jar
unset PW
Das Passwort wird bei der Eingabe nicht auf dem Bildschirm angezeigt. In der Shell-History wird lediglich der Aufruf von read gespeichert, nicht das eingegebene Passwort.
Auch hier wird als Ergebnis das vollständig verschlüsselte Passwort einschließlich des Präfixes sx_des ausgegeben.
Wenn die Default-Dateiencodierung der aktiven Locale nicht ausreicht, kann eine entsprechende Fehlermeldung ausgegeben werden. Unter Windows / DOS ist die Vorbelegung Cp1252 bei deutscher Codepage in der Regel ausreichend; unter Unix wird die deutsche Locale benötigt.
Zum Absetzen beliebiger SQL-Kommandos werden die Befehle DOSQL und DOQUERY genutzt.
DOSQL kann SQL-Anweisung(en) in der der Datei (als Parameter) in der SuperX-Datenbank ausfuehren.
Syntax | DOSQL "Dateiname mit sql-Anweisung(en)" header (true,false)(optional) Ausgabedatei(optional) |
Beispiel | DOSQL "/home/superx/db/isql/test.sql" false "^" output.txt |
Das Ergebnis kann mit Feldüberschriften (header=true) in eine Datei Ausgabedatei ausgegeben werden.
Wenn
FM_DEBUG = true export FM_DEBUG
gesetzt wird, werden bei Freemarker Scripten von DOSQL die *.tmp.sql-Dateien nicht gelöscht.
Shellvariablen setzen und eingegebene SQL-Anweisung (als Parameter) in der SuperX-Datenbank ausfuehren.
Syntax | DOQUERY "sql-Anweisung" header (true,false)(optional) Delimiter(optional) Ausgabedatei(optional) |
Beispiel | DOQUERY "select name from userinfo" false "^" output.txt |
Das Ergebnis kann mit Feldüberschriften (header=true) in eine Datei Ausgabedatei ausgegeben werden.
Transformiert eine xml-Datei mit einer übergebenen XSL-Datei und gibt das Ergebnis in einen Ausgabekanal aus (stdout oder Datei). Dabei wird der in SuperX integrierte XML-Parser Xerces und der XSL-Prozessor Saxon benutzt.
Syntax | sx_transform.x -IN:xml-Datei -XSL:xsl-Datei -OUT:Ausgabedatei -method:Ausgabeformat (text, xml,html,rtf,pdf) (optional) -params:Parameter(optional) |
Beispiel | sx_transform.x -IN:myxml.xml -XSL:myxsl.xsl -OUT:output.htm -method:html |
Als Parameter "method" kann ein spezielles Ausgabeformat gewählt werden, z.B. text (siehe Xalan-Doku). Bei rtf wird der RTF-Construktor Jfor aufgerufen, bei pdf wird FOP aufgerufen. Die *.fo-Datei wird nach tmp.fo geschrieben und dann nach pdf transformiert. Wir gehen also nicht davon aus, dass .fo-Dateien die Eingabequelle darstellen.
Stylesheet Parameter werden mit "," getrennt optional angefügt, z.B.
sx_transform.x -IN:myxml.xml -XSL:myxsl.xsl -OUT:output.htm -method:html "-params:Jahr=2020,Monat=12"
Wie sx_transform.x transformiert das Script XML via XSLT, hier werden allerdings Saxon-spezifische Parameter ermöglicht.
Syntax | saxon_transform.x xml-Datei xsl-Datei Ausgabeformat (text, xml,html) (optional) Ausgabedatei (optional) Parameter (optional) |
Beispiel | sx_transform.x myxml.xml myxsl.xsl output.htm html |
Bei pdf wird FOP aufgerufen. Die *.fo-Datei wird nach tmp.fo geschrieben und dann nach pdf transformiert.
Wenn ein XSL-Script mehrere Ausgabedateien erzeugen soll, kann dieses Script ggü. sx_transform.x Vorteile haben.
Zeigt die installierten Fonts für PDF Erzeugung mit XSL-FO an.
Das Script hat keine Argumente.
sx_validate.x validiert eine XML-Datei
sx_validate.x XML-Datei SCHEMA-Datei (optional)
Das Script sx_xmlfileappender.x faßt mehrere XML-Dateien in einem übergebenen Pfad zu eine rDatei mit einem neuen root-Knoten "artificalroot" zusammen.
Aufruf:
sx_xmlfileappender.x Path file(regex oder Dateiname mehrere mit , getrennt) Outputfile
Ältere Systeme arbeiten in der Regel mit der Zeichencodierung ISO-8859-1 bis ISO-8859-9. Dieser Zeichensatz wird auch LATIN-1 genannt. Die UNIX-Locale de_DE@euro entspricht z.B. ISO-8859-9 und enthält das EUR-Symbol.
Aktuelle SuperX-Installationen arbeiten in der Regel mit der UTF-8 Codierung, dies wird bei der Installation gesetzt.
Mit dem Wechsel von ISO-Codierung zu UTF8 bleibt oft der Bedarf bestehen, Dateien hin- und herzucodieren. Sei es, weil beim Entladen aus einer entfernten Datenbank noch das ISO-System genutzt wird, oder bei der Migration eines Systems. Nach unserer Erfahrung sollten Umlaute in Dateinamen unbedingt vermieden werden.
SuperX bietet unter UNIX Shellscripte zur Erfassung und Änderung der Zeichencodierung (Verzeichnis $SUPERX_DIR/db/bin). Im Wesentlichen werden dabei die Unix-Kommandos file und recode genutzt, die Shellscripte machen den Umgang mit umfangreichen Dateilisten komfortabler. Bei der Verarbeitung von Dateilisten sollte man die Scripte sehr vorsichtig einsetzen, es finden keine Sicherheitsüberprüfungen statt.
Das Script zeigt die Encodierung einer Datei an.
Syntax | sx_show_encoding.x |
Beispiel | sx_show_encoding.x $SUPERX_DIR/webserver/tomcat/webapps/superx/WEB-INF/web.xml |
Ausgabe | /home/superx/webserver/tomcat/webapps/superx/WEB-INF/web.xml: XML ISO |
Das Script nutzt verschiedene UNIX-Tools, je nach System kann die Ausgabe variieren. Bei XML-Dateien wird auch der Dateiinhalt (XML-Header) ausgewertet.
Das Script ändert die Encodierung einer Datei von ISO nach UTF-8:
Syntax | sx_recode_iso2utf.x |
Beispiel | sx_recode_iso2utf.x $SUPERX_DIR/webserver/tomcat/webapps/superx/WEB-INF/web.xml |
Ausgabe | --keine-- |
Das Script nutzt das UNIX-Kommando recode. Darüberhinaus werden bei XML-Dateien auch die XML-Header "encoding=..." geändert, so wird z.B. aus
der Header
Andere Inhalte der Datei unterhalb der ersten Zeile werden keinesfalls geändert.
Das Script ändert die Encodierung einer Datei von ISO nach UTF-8:
Syntax | sx_recode_utf2iso.x |
Beispiel | sx_recode_utf2iso.x $SUPERX_DIR/webserver/tomcat/webapps/superx/WEB-INF/web.xml |
Ausgabe | --keine-- |
Das Script nutzt das UNIX-Kommando recode. Darüberhinaus werden bei XML-Dateien auch die XML-Header "encoding=..." geändert, so wird z.B. aus
der Header
Andere Inhalte der Datei unterhalb der ersten Zeile werden keinesfalls geändert.
Das Script listet alle ISO-Dateien im übergebenen Verzeichnis auf (inkl. Unterverzeichnisse).
Syntax | sx_list_isofiles.x |
Beispiel | sx_list_isofiles.x webserver/tomcat/webapps/superx/WEB-INF |
Ausgabe | webserver/tomcat/webapps/superx/WEB-INF/lib/LocalStrings_de.properties webserver/tomcat/webapps/superx/WEB-INF/lib/hierhin_den_informix_treiber_kopieren.txt [...] webserver/tomcat/webapps/superx/WEB-INF/db.properties |
Die Ausgabe kann in eine Datei umgeleitet werden, welche wiederum für das Script sx_recode_isofiles.x als Eingabedatei genutzt werden.
sx_list_isofiles.x webserver/tomcat/webapps/superx/WEB-INF >iso.txt
Das Script konvertiert alle Dateien in der übergebenen Dateiliste von ISO nach UTF-8:
Syntax | sx_recode_isofiles.x |
Beispiel | sx_list_isofiles.x iso.txt |
Ausgabe | --Keine-- |
Die Eingabedatei ist in der Regel die Ausgabe des Scriptes 'sx_list_isofiles.x'.
Das Script listet alle UTF-8-Dateien im übergebenen Verzeichnis auf (inkl. Unterverzeichnisse).
Syntax | sx_list_utf8files.x |
Beispiel | sx_list_utf8files.x webserver/tomcat/webapps/superx/WEB-INF |
Ausgabe | webserver/tomcat/webapps/superx/WEB-INF/lib/LocalStrings_de.properties webserver/tomcat/webapps/superx/WEB-INF/lib/hierhin_den_informix_treiber_kopieren.txt [...] webserver/tomcat/webapps/superx/WEB-INF/db.properties |
Die Ausgabe kann in eine Datei umgeleitet werden, welche wiederum für das Script sx_recode_utf8files.x als Eingabedatei genutzt werden.
sx_list_isofiles.x webserver/tomcat/webapps/superx/WEB-INF >utf.txt
Das Script konvertiert alle UTF-8 Dateien in der übergebenen Dateiliste von UTF-8 nach ISO:
Syntax | sx_recode_utf8files.x |
Beispiel | sx_recode_utf8files.x utf.txt |
Ausgabe | --Keine-- |
Die Eingabedatei ist in der Regel die Ausgabe des Scriptes sx_list_utf8files.x.
In SuperX werden ständig Tabellen erstellt / geladen / entladen. Zu diesem Zweck wurden Shellscripte entwickelt.
Entlädt die Inhalte der Tabelle nach <
Syntax | sx_unload_table.x < |
Beispiel | sx_unload_table.x userinfo |
Löscht die Inhalte der Tabelle <
Syntax | sx_upload_table.x < |
Beispiel | sx_upload_table.x userinfo |
Lädt die Inhalte einer Datei in die Tabelle, ohne vorherige Inhalte zu löschen. Wenn kein Dateiname übergeben wurde, wird als Name <
Syntax | sx_upload_records.x < |
Beispiel | sx_upload_records.x userinfo |
Bei Postgres als DB-System wird eine Java-Klasse (de.superx.bin.UnlFileConverter) aufgerufen, die die Unload-Datei entsprechend einer Spezifikation aufbereitet (siehe $SUPERX_DIR/db/conf/unldescr*).
Wenn der jdbc-Client benutzt wird, können umfangreiche Parameter übergeben werden (Import mit Spaltenüberschriften, Ausgabe von Fehlerprotokollen). Vergleichen Sie die Kommentare im Script.
Entlädt das Schema einer Tabelle in einem vorgegebenen Format.
Syntax | sx_schema.x Tabelle format (pg|ids|ansi|xml|HIS)) (optional) Ausgabedatei (optional) |
Beispiel | sx_schema.x userinfo ids myschema.sql |
Die Formate | Die Formate sind SQL für PostgreSQL oder ANSI sowie XML beziehungsweise ein XML-Format in Anlehnung an die Datenbank-DTD der HIS. |
Die Verwaltung der Module, einschließlich Installation, Aktualisierung, Sicherung und Logdateien, erfolgt über zentrale Shellscripte in $SUPERX_DIR/db/bin. Die Shellscripte bilden die operativen Hüllen um die eigentlichen SQL-Scripte. Diese werden zum Teil manuell und zum Teil automatisch aus einer zentralen Steuerdatei erzeugt:
$SUPERX_DIR/db/module/</conf/< >.xml
Für PostgreSQL werden daraus die benötigten Installations- und Aktualisierungsscripte erzeugt.
Das Script erzeugt die Installationsdateien für ein Modul nach dem Schema
Syntax | module_scripts_create.x -Modulkürzel- -Modulpfad- -Datenbanksystem- |
Beispiel | module_scripts_create.x bau $BAU_PFAD POSTGRES |
Im Grunde handelt es sich um XML-Transformationen. Die Stylesheets für dieses Script befinden sich im Verzeichnis $SUPERX_DIR/db/conf, und die XML-Datei für das Module in $SUPERX_DIR/db/module/-Modulname-/conf. Wenn die Datei nicht gefunden wird, bricht das Script ab.
Installiert ein Modul -Modulname- in der Datenbank, wobei die Installationsdateien sich im -Modulpfad- befinden.
Syntax | module_install.x -Modulkürzel- -Modulpfad- |
Beispiel | module_install.x bau $BAU_PFAD |
Löscht die Komponenten eines Moduls -Modulname- in der Datenbank, wobei die Installationsdateien sich im -Modulpfad- befinden.
Syntax | module_drop.x -Modulkürzel- -Modulpfad- |
Beispiel | module_drop.x bau $BAU_PFAD |
Das Entladescript lautet $SUPERX_DIR/db/module/<
$SUPERX_DIR/db/module/<
Entladeroutine bei mandantenfähigen Installationen:
$SUPERX_DIR/db/module/<
Dokumentation zu den jew. Parametern finden Sie in den jeweiligen Administrationshandbüchern der Module. Meist kann man Start-Semester oder -Jahre für das Entladen festlegen. Immer muß man auch das Datenbank-Vorsystem festlegen (Hostname, Kennung etc) sowie, bei HIS-Systemen, die Versionsnummer.
Aktualisiert ein Modul -Modulname- in der Datenbank, wobei die Installationsdateien sich im -Modulpfad- befinden.
Syntax | module_etl.x -Modulname- -Modulpfad- |
Beispiel | module_etl.x bau $BAU_PFAD |
Die folgende Abbildung zeigt, wie die Komponenten zusammenhängen (klicken Sie auf die Grafik, um sie zu vergrößern):
Zunächst werden die Rohdaten geladen, die Daten vorbereitet, transformiert, und nachbereitet. Danach werden die Hilfstabellen erzeugt und, bei erfolgreichem durchlaufen, das Standdatum aktualisiert.

Bei Fehlern im ETL-Prozeß wird die Sicherung wiederhergestellt, und eine Mail an die Administrator_in verschickt. Außerdem werden die übernommenen Daten überprüft; wenn z.B. Schlüssel fehlen oder Rohdaten falsch zu sein scheinen, wird dies als Attachment an die Log- oder Fehlermail angehängt.
In der Praxis wird dieses Script nicht direkt von Cronjobs ausgeführt, sondern von einem Shellscript, das vorher die Umgebung einrichtet. Das folgende Beispiel zeigt ein Update-Script für das BAU-Modul:
bau_update.x
Wie Sie sehen ist es möglich, für jedes Modul unterschiedliche Mailadressen zuzuweisen. Die Mailadressen werden systemweit in der SQL_ENV] eingetragen.
Im allgemeinen ETL-Prozeß wird standardmäßig auch die Tabelle protokoll in einem festzulegendem Rhythmus (Konstante Löschung Protokoll (Tage)) gelöscht. Beim Vorgabewert 90 werden bei jeder ETL-Routine Einträge, die älter als 90 Tage sind, gelöscht.
Zusätzlich lassen sich im ETL-Prozeß hochschulspezifische Scripte ausführen (und überwachen). Dazu müssen Dateien mit einem gewissen Namensschema im Stammverzeichnis des Moduls vorhanden sein. Es gibt einen vereinfachten und einen erweiterten Modus für hochschulspezifische Transformationen.
Wenn also z.B. die Datei
$COB_PFAD/cob_trans_70.sql
existiert und in der SQL_ENV die Umgebungsvariable $MANDANTID auf "70" steht, dann wird das Script nach dem normalen Trans-Schritt ausgeführt und nach
L_cob_trans_mandant_70.log
geloggt.
Der erweiterte Modus erlaubt die beliebige Anpassung eines Modus an eigene Bedürfnisse, z.B. Schlüsselumsetzung o.ä. Gleichzeitig erlaubt er einen echten mandentenfähigen Betrieb der ETL-Scripte.
Hinweis: bei mandantenfähigen Installationen steht vor der Endung .log immer die MandantID.
Fürs Kernmodul lauten die Dateien bei der Installation:
$SUPERX_DIR/db/install/L_*.log
Beim Upgrade:
$SUPERX_DIR/db/install/upgrade/upgrade.log
Für alle anderen Komponenten:
$SUPERX_DIR/db/module/</L_< _< >.log
Für alle Module sind die Dateien wie folgt benannt:
Entladeroutine:
$SUPERX_DIR/db/module/</rohdaten/< >_unload.err
Entladeroutine bei mandantenfähigen Installationen:
$SUPERX_DIR/db/module/</rohdaten< /< >_unload.err
Laderoutine:
$SUPERX_DIR/db/module/</L_< _< >.log
wobei <
Wenn die Laderoutine erfolgreich ist, werden alle Schritte hintereinander ausgeführt und geloggt. Wenn nicht, dann wird der jew. Schritt zuende geführt, und dann die Laderoutine gestoppt. Wenn also z.B. beim LOAD ein Fehler auftritt, dann wird der Schritt "Transformation" gar nicht erst begonnen. So ist sichergestellt daß die Auswertungen trotz Fehler laufen.
Da die Laderoutinen oft mit Freemarker Scripten arbeiten, werden diverse SQL-Scripte nur zur Laufzeit generiert und ausgeführt, und danach wieder gelöscht. Um die Laderoutinen transparenter "beobachten" zu können, können Sie die die Löschung der Scripte mit dem Parameter
FM_DEBUG="true" export FM_DEBUG
Wenn FM_DEBUG = true gesetzt wird, werden bei Freemarker Scripten von DOSQL die *.tmp.sql-Dateien nicht gelöscht. Sie können den Parameter in der aktuellen Shell setzen, oder permanent in der SQL_ENV.
Da Kettle in der Webanwendung integriert ist, können Sie Kettle Jobs auch ohne die PDI-Standalone-Installation per Kommandozeile ausführen. Wenn die SQL_ENV eingerichtet und geladen ist, geben Sie z.B. einfach ein:
sx_kitchen.x -file "sospos_res1.kjb" -norep
Die Parameter werden direkt an die Java Anwendung "kitchen" weitergereicht, d.h. weitere Dokumentation finden Sie in unserem Kettle-Kurs.
Für SuperX können spezielle Patch-Dateien per Kommandozeile installiert werden. Vorbedingung ist, dass die bash und das Paket unzip installiert sind.
patch_apply.x
Das Script entpackt eine übergebene Patch-Datei (zip-File), und installiert die Dateien und DB-Operationen für die jeweils installierten und zum Patch passenden Module. Sie starten es direkt aus dem Patchordner, in dem der zu installierende Patch liegt:
patch_apply.x -PatchFile-
Ein Beispiel:
patch_apply.x patch_2011-06-01_superx_iso.zip
Dabei wird in dem Verzeichnis der Patch entpackt und ausgeführt. Je nach Patch muss auch ein Tomcat Neustart erfolgen, ein entsprechender Hinweis befindet sich in der Patch-Dokumentation.
Wenn ein Patch auch Dateien unterhalb von webapps/superx enthält, müssen Sie im Falle von Tomcat Clusterbetrieb den Patch auf alle Tomcat Hosts übertragen, entweder direkt oder mit git / rsync.
Weitere Hinweise zum Script finden Sie im Installationshandbuch.
Wenn Sie mit Unterberichten arbeiten, müssen Sie kompilierte .jasper-Dateien einbinden und ausliefern. Da dieser Dateityp normalerweise (und richtigerweise) im ".gitignore" ist, d.h. nicht über git ausgeliefert werden kann, können Sie die Dateien auch direkt auf dem Applikationsserver mit der exakt passenden JR-Version erzeugen. Typischerweise führen Sie das Script im Ordner WEB-INF/reports aus. Der Aufruf:
cd $WEBAPP/WEB-INF/reports java $JAVA_OPTS -cp "$JDBC_CLASSPATH" de.superx.bin.SxJasperCompiler
Der Workflow ist wie folgt:
Ausschließlich für SuperX-Standalone-Anwender können wir im System eine Gültigkeit von UserAccounts und automatisiertes Sperren von LDAP-Usern mit Sperr-Merkmal einbauen.
Die Tabelle userinfo und das entsprechende Formular zum Userbearbeiten hat die Merkmale Beginn Gültigkeit (gueltig_von) und Ende Gültigkeit (gueltig_bis), so dass SuperX-Standalone Hochschulen z.B. für befristete Mitarbeiter_innen in der Userverwaltung direkt eintragen können, dass ein Mitarbeiter sich z.B. nach dem 31.12.2024 nicht mehr anmelden können soll.
Wenn die Hochschule eine Passwortkontrolle via LDAP macht, kann diese per Script User mit einem entsprechenden Merkmal wie userLocked=true automatisiert zu sperren.
Hierfür setzt das Script den Eintrag userinfo.maxVersuch (also die maximal erlaubten Anmeldeversuche) auf 0 gesetzt, als "Ende Gültigkeit" wird das Vortagsdatum eingetragen sowie die Spalte password_sha (verschlüsseltes SuperX-Passwort) geleert.
Aufruf:
sx_ldap_lockout.x Pfad/zu/db.properties pfad/zu/superx_standalone_ldap.properties
Das Script kann nächtlich ausgeführt werden.
Die Masken-Verwaltung ist detailliert im Entwicklerhandbuch SuperX beschrieben. Hier nur ein paar Hinweise zur Verwaltung der Masken. Zum Erzeugen und Verändern von Masken gibt es unter UNIX eine Kommandoschnittstelle, die auf dem Gebrauch folgender Skripte beruht. Die Skripte stehen unter dem Verzeichnis
$SUPERX_DIR/db/bin
und erzeugen oder verwenden Dateien in dem gegenwärtigen Arbeitsverzeichnis. Nach dem Einspielen der Datenbank sollten Sie darauf achten, den Dateien Ausführungsberechtigung (chmod 750 *) zu geben.
Wenn Sie eine Maske suchen, sollten die die Felder tid oder name in der Tabelle maskeninfo durchsuchen. Das folgende Script macht dies automatisch:
sx_search_mask
Aufruf: | sx_search_mask |
Aktion: | sx_search_mask sucht die Masken, deren Name |
Ausgabe: . | tid, name der gefundenen Masken |
Um eine Maske zu sichern, müssen Sie die entsprechenden Einträge in den Tabellen
selektieren und sichern. Für dies gibt es das Script sx_select_mask.
sx_select_mask
Aufruf: | sx_select_mask |
Aktion: | sx_select_mask entlädt alle Metadaten aus den Tabellen maskeninfo, felderinfo, masken_felder_bez, sachgeb_maske_bez, maske_system_bez zur Maske mit tid = |
Ausgabe: | Fünf Dateien:
|
Um eine Maske neu einzufügen, müssen Sie die entsprechenden Einträge in den Tabellen
einfügen. Dafür gibt es das Script sx_insert_mask.
sx_insert_mask
Aufruf: | sx_insert_mask |
Aktion: | sx_insert_mask lädt den Inhalt der fünf Dateien
in die jeweiligen Tabellen der SuperX-Datenbank. Mit "j" wird die Sicherheitsabfrage umgangen. |
Falls Falls select max(tid) from maskeninfo; ! Um den Austausch von Abfragen innerhalb der Hochschulen zu erleichtern ("Abfragen-Pooling" über die SuperX-Website), sollten die Masken immer im Nummernkreis xxxx0000 bis xxxx9990 liegen, wobei xxxx der von der HIS verwandten Hochschulnummer entspricht. Die Zehnerschritte ergeben sich daraus, dass die dazwischen liegenden Nummern für die Maskenfelder (Tabelle felderinfo) reserviert sind Wie im Abschnitt Userverwaltung beschrieben, kann die neue Maske Benutzern oder Gruppen zugänglich gemacht werden. Um eine Maske zu löschen, müssen Sie die Einträge in den oben genannten Tabellen entfernen. Dafür gibt es das Script sx_delete_mask sx_delete_mask Aufruf: sx_delete_mask Aktion: sx_delete_mask löscht alle Metadaten aus den Tabellen maskeninfo, felderinfo, masken_felder_bez, sachgeb_maske_bez und maske_system_bez zur Maske mit tid = 1. Selektieren der Metadaten der betreffenden Maske: sx_select_mask 2. Editieren der fünf Metadaten-Dateien ,, 3. Abspeichern der neuen Metadaten: sx_insert_mask In diversen Szenarien kann es sinnvoll sein, Masken nicht nur im Browser über die Webanwendung auszuführen, sondern über Kommandozeile, also ohne laufenden Tomcat: Masken können bei eingerichteter Kommandozeilenumgebung direkt ausgeführt werden: Damit der Aufruf unter Kernmodul 6.0 funktioniert, muss der zentral unter JDBC-Classpath für Tomcat 10 dokumentierte Jakarta-Classpath geladen sein. Der Kommandozeilenaufruf sieht unter Linux wie folgt aus: Hier ein Beispiel für den Aufruf der Maske "Studierende und Studienanfänger (Zeitreihe)" (tid=16000) als Admin-User und deren Ausgabe in die Datei "test.htm": Das Beispiel läßt sich fortführen für andere Ausgabeformate, hier z.B. für PDF: Das Beispiel zeigt daß über das Params-Argument beliebige Ausgabeformate übergeben werden können, z.B. auch Excel (xlsx): oder als CSV Export: Über den "Deep-Link"-Button lassen sich beliebige Parameter-Zeichenketten erzeugen und nutzen. Auch Aufrufe von JasperReports sind damit möglich, z.B. ein Studierendenbericht als Excel-Report: Bei Datenblattberichten sollte auch der Parameter tablestylesheet übergeben werden. Unter Eclipse sieht der Aufruf für das erste Beispiel (Ausgabe nach html) so aus: Und hier die Parameter: Das Beispiel lässt sich leicht auf andere Plattformen (DOS, Netbeans) übertragen. Sie können auch Parameter bewußt leer übergeben, indem Sie den Parameter ohne Wert übergeben, hier z.B. den Parameter „Sprache“: Neben der Ausführung im Browser gibt es eine "Kommandozeilenversion" des Aufrufs: sx_jasper.x Aufruf: sx_jasper.x -JRXML: Aktion: sx_jasper.x führt einen JasperReports-Task aus. Die Datenquelle kann entweder xml sein (Parameter -XML), oder eine Datenbankverbindung in der Datei db.properties. Das Ergebnis wird in eine Datei Wenn keine Ausgabedatei angegeben wird, wird der jrxml-Dateiname verwendet, und eine PDF-Ausgabe erzeugt. Sie können es mit einer Maskenausführung kombinieren, oder zum Entwickeln. Bei der Maskenausführung können Sie aber im Script ExecuteMask direkt JasperReports aufrufen. Für den Mailversand empfehlen wir die Unix Anwendung s-nail. Installation unter Ubuntu mit Unter RedHat Das s-nail in Ubuntu 22.04 (Version 14.9.23) bietet die Möglichkeit, in der Shell mails für verschiedene Accounts zu verschicken. Zur Konfiguration wird die Datei $HOME/.mailrc genutzt. alt: neu: Zum Verschicken einer Testmail schreiben Sie z.B. Das CLI von s-nail verhält sich etwas UNIX-untypisch: Beachten Sie dass mehrere Mailadressat_innen mit Leerzeichen getrennt hinten angefügt werden - ohne Anführungszeichen um alle Mailadressen. Mit dem zusätzlichen Parameter -v können detaillierte Debug-Informationen ausgegeben werden: Damit lässt sich dann prüfen, ob der Versand verschlüsselt (mit set smtp-use-starttls) oder unverschlüsselt stattgefunden hat. Unverschlüsselt sähe dann z.B. so aus: Und verschlüsselt so: In der SQL_ENV für die neue Konfig-Syntax am besten die Variable MAILPROG mit z.B. angeben. Die Shellscripte von superX sind auch in der HISinOne-BI nutzbar, sofern Linux als Betriebssystem genutzt wird. Vorbedingung ist Im folgenden Beispiel wird ein HISinOne-BI-spezifisches Modul eingerichtet. Das Forschungsmodul RES der HIS e.G. ist ein Beispiel für ein Nicht-SuperX-Modul, das aber auch mit Shellscripten verwaltet werden kann. Hier das Vorgehen: Danach können Sie das Modul installieren mit Dann entladen Sie aus H1, indem Sie in $RES_LOAD_PFAD die Datei RES_ENV analog einrichten wie Sie z.B. die ZUL_ENV oder SOS_ENV eingerichtet haben Dann starten Sie den Update: Es kann Probleme geben, wenn das Kernmodul nicht zu der ZIP Datei von HIS paßt. Fehler bzgl. "dim_bp_apnr"... können Sie ignorieren. Eine Datenbank-Dokumentation befindet sich hier: Aus historischen Gründen liegen die Nummern aus Karlsruhe im Bereich 0-9990, aus Duisburg im Bereich 10000-19990.
Eine Maske löschen
Änderungen an einer Maske vornehmen
Masken per Kommandozeile
java -cp "$JDBC_CLASSPATH" $JAVA_OPTS de.superx.bin.ExecuteMask -tid:Maskennummer -out:Ausgabedatei -user:Benutzerkennung "-params:Parameter..." -logger:$SUPERX_DIR/db/conf/logging.properties
java -cp "$JDBC_CLASSPATH" $JAVA_OPTS de.superx.bin.ExecuteMask -tid:16000 -out:test.htm -user:admin "-params:Köpfe oder Fälle ?=1=1&Stichtag=1" -logger:$SUPERX_DIR/db/conf/logging.properties
java -cp "$JDBC_CLASSPATH" $JAVA_OPTS de.superx.bin.ExecuteMask -tid:16000 -out:test.pdf -user:admin "-params:Köpfe oder Fälle ?=1=1&Stichtag=1&stylesheet=tabelle_fo_pdf.xsl&contenttype=application/pdf" -logger:$SUPERX_DIR/db/conf/logging.properties
java -cp "$JDBC_CLASSPATH" $JAVA_OPTS de.superx.bin.ExecuteMask -tid:16000 -out:test.xlsx -user:admin "-params:Köpfe oder Fälle ?=1=1&Stichtag=1&stylesheet=tabelle_xls.xsl&contenttype=application/vnd.openxmlformats-officedocument.spreadsheetml.sheet" -logger:$SUPERX_DIR/db/conf/logging.properties
java -cp "$JDBC_CLASSPATH" $JAVA_OPTS de.superx.bin.ExecuteMask -tid:16000 -out:test.csv -user:admin "-params:Köpfe oder Fälle ?=1=1&Stichtag=1&contenttype=text/csv" -logger:$SUPERX_DIR/db/conf/logging.properties
java -cp $JDBC_CLASSPATH $JAVA_OPTS -Xmx2048m de.superx.bin.ExecuteMask -tid:160440 -out:$OUTFILE "-params:maxoffset=1000000&stylesheet=tabelle_160440_semester_geschlecht.jrxml&tablestylesheet=tabelle_160440_semester_geschlecht.jrxml&contenttype=application/vnd.openxmlformats-officedocument.spreadsheetml.sheet" -user:superx -logger:$SUPERX_DIR/db/conf/logging.properties


java -cp "$JDBC_CLASSPATH" $JAVA_OPTS de.superx.bin.ExecuteMask -tid:70170 -out:test.htm -user:admin "-params:Stichwort=REPORT&Sprache=" -logger:$SUPERX_DIR/db/conf/logging.properties
Ausführen von JasperReports
Mailversand
apt-get install -y s-nail
yum install s-nail
Einrichtung .mailrc
set smtp="smtp://smtp.variomedia.de:587"
set from="mail@memtext.de"
set smtp-auth=login
set smtp-auth-user="noreply@superx-projekt.de"
set smtp-auth-password=securepw1234
Mail verschicken über die bash
SQL_ENV mit s-nail
MAILPROG="s-nail --account=test"
Shellscripte in der HISinOne-BI
chmod +x .../webapps/superx/WEB-INF/conf/edustore/db/bin/*
Shellscripte zur Verwaltung von RES
RES_PFAD=.../webapps/superx/WEB-INF/conf/edustore/db/module/res; export RES_PFAD
RES_ERRORDAT=$RES_PFAD/res_load.err; export RES_ERRORDAT
RES_LOAD_PFAD=$RES_PFAD/rohdaten; export RES_LOAD_PFAD
RES_ERRORMAIL=$ERRORMAIL; export RES_ERRORMAIL
RES_LOGMAIL=$LOGMAIL; export RES_LOGMAIL
chmod +x $RES_PFAD/*.x
chmod +x $RES_PFAD/rohdaten/*.x
chmod +x $RES_PFAD/upgrade/*.x
cd $RES_PFAD
module_install.x res .
cd $RES_LOAD_PFAD
res_unload.x
cd $RES_PFAD
module_etl.x res .
.../webapps/superx/WEB-INF/conf/edustore/db/module/res/conf/res.html