PostgreSQL Sicherungen und Wiederherstellung

Sicherungen

Nine erstellt täglich zwischen 01:00 und 02:00 Uhr Sicherungen der Postgres Datenbanken auf deinem Managed Server. Diese Sicherungen werden 10 Tage lokal vorgehalten sowie mit der täglichen Sicherung deines Servers auf unsere Backupsysteme übertragen.

Mittels des dir zur Verfügung stehenden Benutzers www-data kannst du auf die lokalen Sicherungen zugreifen, um diese bei Bedarf zu archivieren, bei dir lokal zu verwenden oder direkt auf dem System wiederherzustellen.

Die Sicherungen werden im Verzeichnis /home/database-backup/postgresql/ hinterlegt. Alle Sicherungen werden in Verzeichnissen mit folgendem Zeitschema versioniert: 2021-12-06-0134

Über den symbolischen Link /home/database-backup/postgresql/latest/ gelangst du zur neuesten Sicherung.

Im Ordner customer findest du die Sicherungen aller von dir angelegten Datenbanken. Solltest du lediglich an der Struktur einer Datenbank interessiert sein, so findest du diese im Verzeichnis structure.

Zusätzliche Sicherungen erstellen

Um dir die Erstellung weiterer Sicherungen zu ermöglichen, haben wir das Script, welches wir zur Erstellung der Sicherungen nutzen, für den Aufruf per sudo durch den Benutzer www-data freigegeben:

www-data@nine01:~ $ sudo nine-postgresql-backup
2021-12-06T09:54:19+01:00 Dumped and compressed database 'nmd_frontend_production' in 53 seconds
2021-12-06T09:55:04+01:00 Dumped and compressed database 'nmd_frontend_staging' in 45 seconds

Wiederherstellung

Innerhalb der einzelnen Sicherungen findest du die Datei restore.sh, z.B. unter /home/database-backup/postgresql/2021-12-06-0134/restore.sh.

Hier werden alle Datenbanken inklusive der Dateipfade der Sicherung aufgelistet. Die Inhalte kannst du kopieren und auf deine Bedürfnisse anpassen. Die kommentierten Einträge sind dabei für eine Wiederherstellung in der Ursprungsdatenbank gedacht.

Die Angabe des Benutzernamens -U nmd_ muss vervollständigt bzw. auf den gewünschten Benutzernamen angepasst werden.

...
# Single database restores
# zstdcat /home/database-backup/postgresql/2021-12-06-0134/customer/nmd_frontend_production/nmd_frontend_production.zst | pg_restore -d nmd_frontend_production -O -x -c --if-exists -U nmd_
# zstdcat /home/database-backup/postgresql/2021-12-06-0134/customer/nmd_frontend_staging/nmd_frontend_staging.zst | pg_restore -d nmd_frontend_staging -O -x -c --if-exists -U nmd_

Einträge oberhalb der Zeile # Single database restores sind für den Gebrauch durch Mitarbeiter von Nine gedacht und können nicht durch unprivilegierte Benutzer ausgeführt werden.

Während der Wiederherstellung können folgenden Warnungen auftreten:

pg_restore: WARNING:  no privileges could be revoked for "public"
pg_restore: WARNING:  no privileges were granted for "public"

Diese Warnungen können ignoriert werden, da die Rechte der Benutzer bereits korrekt gesetzt sind.

Parameter

Die folgenden Parameter werden im Skript restore.sh verwendet:

-U (--username): Der Datenbankbenutzer der verwendet werden soll -d (--dbname): Legt die Zieldatenbank fest -O (--no-owner): Diese Option unterdrückt alle Befehle zum Festlegen der Eigentümerschaft von Objekten. Alle importierten Objekte werden dem Datenbankbenutzer, der mittels -U (--usename) übergeben wurde, zugewiesen. -x (--no-acl / --no-privileges): Diese Option verhindert das erneute Einspielen der bereits vorhandenen Zugriffsberechtigungen -c (--clean): Diese Option löscht bestehenden Datenbankobjekte --if-exists: Diese Option wird benötigt, wenn --clean verwendet wird. Bei Auslassen der Option würden Fehlermeldungen auftreten, sollten Objekte in der Zieldatenbank nicht vorhanden sein.

Wiederherstellung in Quelldatenbank

Zur Wiederherstellung einer Sicherung kannst du folgenden Befehl verwenden. Hierbei wird die Sicherung der Datenbank nmd_frontend_staging in die gleichnamige Datenbank wiederhergestellt. Vorab werden alle bestehenden Daten der Datenbank entfernt:

zstdcat /home/database-backup/postgresql/2021-12-06-0134/customer/nmd_frontend_staging/*.zst | pg_restore -d nmd_frontend_staging -O -x -c --if-exists -U nmd_frontend_staging

Der Parameter -U übergibt den Datenbankbenutzernamen an das pg_restore Kommando. Das Kennwort des Datenbankbenutzers wird bei der Ausführung interaktiv abgefragt.

Bitte beachte, dass du den Benutzernamen und das Kennwort des Datenbankbenutzers angeben musst und hier nicht die Zugangsdaten des www-data Benutzers gefragt sind. Solltest du diese Informationen nicht zur Hand haben, so können diese aus der Konfiguration deiner Applikation ausgelesen werden.

Wiederherstellung in eine andere Datenbank

Die Wiederherstellung kann bei Bedarf auch in eine abweichende Datenbank vorgenommen werden. Hierbei muss der Name der Zieldatenbank angepasst werden. Wir empfehlen ausserdem, zunächst die Struktur in die neue Datenbank einzuspielen:

# Wiederherstellen der Struktur
zstdcat /home/database-backup/postgresql/2021-12-06-0134/structure/nmd_frontend_staging.zst | pg_restore -d nmd_frontend_staging_restore -O -x -c --if-exists -U nmd_frontend_staging_restore

# Wiederherstellen der Daten
zstdcat /home/database-backup/postgresql/2021-12-06-0134/customer/nmd_frontend_staging/nmd_frontend_staging.zst | pg_restore -d nmd_frontend_staging_restore -O -x -c --if-exists -U nmd_frontend_staging_restore

Wenn du eine Wiederherstellung in eine andere Datenbank durchführen möchtest, so muss diese bereits existieren oder per nine-manage-databases angelegt werden.

Wiederherstellung einzelner Tabellen

Statt alle Tabellen wiederherzustellen, kann ebenso eine einzelne Tabelle ausgewählt und importiert werden. Dies geschieht mittels des Parameters -t sowie der Angabe des Namens der Tabelle.

Wichtige Information: Beim Wiederherstellen einzelner Tabellen kann pg_restore mit dem -t Flag keine Abhängigkeiten zu anderen Datenbank Objekten erkennen. Darum gibt es keine Garantie, dass die Wiederherstellung einer einzelnen Tabelle in eine leere Datenbank ohne Fehler durchlaufen wird. pg_restore's -t Flag kann auch die zur Tabelle gehörenden Unterobjekte wie Indexes nicht wiederherstellen.

zstdcat /home/database-backup/postgresql/2021-12-06-0134/customer/nmd_frontend_staging/nmd_frontend_staging.zst | pg_restore -d nmd_frontend_staging -O -x -c --if-exists -U nmd_frontend_staging -t tablename

Weitere Informationen

Zeitpunkt der Sicherungen

Sicherungen von Datenbanken erzeugen in aller Regel eine erhöhte Last auf deinem System. Daher haben wir einen Zeitraum in der Nacht gewählt, der üblicherweise weniger frequentiert ist. Falls der Zeitraum zwischen 01:00 und 02:00 Uhr für deine Applikation(en) ungünstig sein sollte, können wir diesen gerne anpassen.

Kompression der Sicherungen

Wir verwenden den Zstandard-Algorithmus zur Kompression der Sicherungen. Dieser bietet eine hervorragende Balance aus Geschwindigkeit, Kompression und Ressourcenbedarf und übertrifft die etablierten Algorithmen teils deutlich.

Solltest du die Sicherungen für die Verwendung auf einem System benötigen, auf dem die zst Binärpakete nicht zur Verfügung stehen, so raten wir dazu die Sicherungen auf deinem Server selbst zu entpacken und erneut zu komprimieren:

www-data@nine01:~ $ mkdir dump_recompress
www-data@nine01:~ $ cp /home/database-backup/postgresql/latest/customer/nmd_frontend_staging/* dump_recompress/ ; cd dump_recompress/

# Die Option "--rm" löscht die zst Archive nach dem Entpacken
www-data@nine01:~/dump_recompress $ unzstd --rm *.zst
nmd_frontend_staging.zst: 3732915490 bytes
www-data@nine01:~/dump_recompress $ bzip2 *
www-data@nine01:~/dump_recompress $ ls -l *.bz2
-rw-r----- 1 www-data www-data 432683536 Dec  6 13:24 nmd_frontend_staging.bz2

Bitte achte darauf, keine Sicherungen öffentlich zugänglich auf dem Webserver zu hinterlegen.