Backup - Revision history

Samh at 20:05, 31 May 2021

2021-05-31T20:05:35Z

Samh at 20:03, 31 May 2021

2021-05-31T20:03:06Z

Samh at 15:05, 31 May 2021

2021-05-31T15:05:44Z

Samh at 20:48, 27 May 2021

2021-05-27T20:48:52Z

Samh at 20:53, 8 February 2021

2021-02-08T20:53:11Z

Jason: Voeg instructies toe over encryptie van data

2019-03-13T20:38:26Z

Voeg instructies toe over encryptie van data

Timb: /* WebCie: snapshots van de database */

2019-01-06T13:18:01Z

‎WebCie: snapshots van de database

Timb: De WebCie heeft ook databasebackups

2018-08-07T13:14:14Z

De WebCie heeft ook databasebackups

Juriaan: /* Interne backups */

2017-05-09T15:07:37Z

‎Interne backups

Johand at 14:30, 30 December 2015

2015-12-30T14:30:34Z

@@ Line 9: / Line 9: @@
 Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.
-Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola en het commando (op nikola) ''zfs-autobackup --ssh-source stephen stephen-backup-nikola storage/backup/stephen --progress --verbose''. Dit commando wordt elke dag om 00:00 uitgevoerd doormiddel van een cronjob
+Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Om deze snapshots ook naar nikola te halen wordt er ook van deze package gebruik gemaakt. Hiervoor wordt er gebruik gemaakt van de zfs flag: ''autobackup:stephen-backup-nikola'' op stephen en het commando (op nikola) ''zfs-autobackup --ssh-source stephen stephen-backup-nikola storage/backup/stephen --progress --verbose'' voor het daadwerkelijk maken van de backup. Dit commando wordt elke dag om 00:00 uitgevoerd doormiddel van een cronjob
 == Off-site backups ==

@@ Line 9: / Line 9: @@
 Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.
-Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola en het commando (op nikola) ''zfs-autobackup --ssh-source stephen stephen-backup-nikola storage/backup/stephen --progress --verbose''. Op het moment van schrijven wordt de eerste backup op deze manier overgezet. Er is nog geen cronjob voor aangemaakt dit moet dus nog gebeuren.
+Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola en het commando (op nikola) ''zfs-autobackup --ssh-source stephen stephen-backup-nikola storage/backup/stephen --progress --verbose''. Dit commando wordt elke dag om 00:00 uitgevoerd doormiddel van een cronjob
 == Off-site backups ==

@@ Line 9: / Line 9: @@
 Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.
-Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola. Op het moment van schrijven wordt de eerste backup op deze manier overgezet. Er is nog geen cronjob voor aangemaakt dit moet dus nog gebeuren.
+Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola en het commando (op nikola) ''zfs-autobackup --ssh-source stephen stephen-backup-nikola storage/backup/stephen --progress --verbose''. Op het moment van schrijven wordt de eerste backup op deze manier overgezet. Er is nog geen cronjob voor aangemaakt dit moet dus nog gebeuren.
 == Off-site backups ==

← Older revision		Revision as of 20:48, 27 May 2021
Line 8:		Line 8:

	Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.		Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.
		+
		+	Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola. Op het moment van schrijven wordt de eerste backup op deze manier overgezet. Er is nog geen cronjob voor aangemaakt dit moet dus nog gebeuren.

	== Off-site backups ==		== Off-site backups ==

@@ Line 11: / Line 11: @@
 == Off-site backups ==
-We slaan de data ook off-site op bij de universiteit. Dit is een virtuele machine met de naam [[Claude|claude]]. Dit gebeurd vanaf max, aangezien daar een 1:1 kopie staat van de data en op deze manier wordt haskell ontlast. De backups worden vanaf [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] gepulled vanaf max en door max eerst ge-gzipped en ge-encrypt, zodat de universiteit niet bij onze data kan. Naar [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] wordt elke eerste dag van de maand een complete kopie gedumped en voor de rest van de maand worden incrementele dumps gemaakt.
+We slaan de data ook off-site op bij de universiteit. Dit is een virtuele machine met de naam [[Claude|claude]]. Dit gebeurd vanaf Nikola(vroeger max), aangezien daar een 1:1 kopie staat van de data en op deze manier wordt haskell ontlast. De backups worden vanaf [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] gepulled vanaf Nikola en door Nikola eerst ge-gzipped en ge-encrypt, zodat de universiteit niet bij onze data kan. Naar [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] wordt elke eerste dag van de maand een complete kopie gedumped en voor de rest van de maand worden incrementele dumps gemaakt.
 == Relevante scripts ==
@@ Line 17: / Line 17: @@
 De volgende scripts en crons die te maken hebben met backups zijn allemaal in gebruik.
-*`/usr/local/bin/backupscript` op Haskell maakt elke 4 uur (door `/etc/cron.d/autobackup`) een snapshot en stuurt deze direct naar max.
+*`/usr/local/bin/backupscript` op Haskell maakt elke 4 uur (door `/etc/cron.d/autobackup`) een snapshot en stuurt deze direct naar Nikola.
-*`/etc/cron.daily/cleansnapshots` draait op zowel Max als Haskell en ruimt elke dag oude snapshots op. Deze file is identiek op beide machines, dus aanpassingen moeten gesynced worden.
+*`/etc/cron.daily/cleansnapshots` draait op zowel Nikola als Haskell en ruimt elke dag oude snapshots op. Deze file is identiek op beide machines, dus aanpassingen moeten gesynced worden.
-*`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Max en slaat deze op.
+*`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Nikola en slaat deze op.
 *`/usr/local/bin/cleanbackups`op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] ruimt oude snapshots op als de ruimte (2TB) vol dreigt te raken. Vol is >90%. Dit is een cron die elke 5 minuten checkt. Mocht er iets fout gaan zoals dat er bij het opruimen niet tenminste 1 volledige backup altijd bewaard blijft, dan mailt deze dit. Het gebeurd nog wel eens dat de nfs share van de universiteit eruit knalt, en dan flipt dit script ook.

@@ Line 35: / Line 35: @@
 * https://dev.mysql.com/doc/refman/8.0/en/binary-log.html
 * https://dev.mysql.com/doc/refman/8.0/en/point-in-time-recovery.html
 [[Category:Sysop]]
 [[Category:WebCie]]

@@ Line 1: / Line 1: @@
-Geregeld worden er '''backups''' gemaakt van een groot deel van het systeem. Hier vallen onder andere de home directories en virtuele machines onder.
+Geregeld worden er '''backups''' gemaakt van een groot deel van het systeem. Hier vallen onder andere de home directories en virtuele machines onder. De WebCie heeft ook een grote hoeveelheid incrementele databasebackups.
 == Interne backups ==
@@ Line 21: / Line 21: @@
 *`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Max en slaat deze op.
 *`/usr/local/bin/cleanbackups`op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] ruimt oude snapshots op als de ruimte (2TB) vol dreigt te raken. Vol is >90%. Dit is een cron die elke 5 minuten checkt. Mocht er iets fout gaan zoals dat er bij het opruimen niet tenminste 1 volledige backup altijd bewaard blijft, dan mailt deze dit. Het gebeurd nog wel eens dat de nfs share van de universiteit eruit knalt, en dan flipt dit script ook.
 [[Category:Sysop]]

@@ Line 5: / Line 5: @@
 De interne backups zijn bedoeld om bestanden terug te kunnen halen die per ongeluk verwijderd zijn. Elke 4 uur, met middernacht als offset, wordt er een recursieve snapshot gemaakt van alle data. Deze 4 uurlijkse snapshots worden, op die van middernacht na, 2 dagen bewaard. De snapshots van middernacht worden standaard 2 weken bewaard, met enkele uitzonderingen zoals de home directories. Deze uitzonderingen plus hun retention tijd staan op haskell in `/etc/cron.daily/managesnapshot`.
-Deze 4 uurlijkse backups worden direct gesynced naar de on-site backup in de vorm van max.
+Deze 4 uurlijkse backups worden direct gesynced naar de on-site backup in de vorm van Nikola.
 Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.

@@ Line 1: / Line 1: @@
-[[category:sysop]]
+Geregeld worden er '''backups''' gemaakt van een groot deel van het systeem. Hier vallen onder andere de home directories en virtuele machines onder.
-Elke dag worden er '''backups''' gemaakt van een groot deel van het systeem. Onder andere de homedirectories, de mail en de webpages worden gebackupt. [[Scratch]] wordt niet gebackupt.
 == Interne backups ==
-Binnen een backup directory staan de bestanden op exact dezelfde plaats en met dezelfde permissies als in het gewone bestandssysteem, dus om bijvoorbeeld het bestand `bla.txt` op het Sysopaccount terug te zetten, zou je het volgende commando gebruiken:
+De interne backups zijn bedoeld om bestanden terug te kunnen halen die per ongeluk verwijderd zijn. Elke 4 uur, met middernacht als offset, wordt er een recursieve snapshot gemaakt van alle data. Deze 4 uurlijkse snapshots worden, op die van middernacht na, 2 dagen bewaard. De snapshots van middernacht worden standaard 2 weken bewaard, met enkele uitzonderingen zoals de home directories. Deze uitzonderingen plus hun retention tijd staan op haskell in `/etc/cron.daily/managesnapshot`.
- $ cp /backup/latest/home/iba/sysop/bla.txt ~sysop
+Deze 4 uurlijkse backups worden direct gesynced naar de on-site backup in de vorm van max.
-== Externe backups ==
+Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.
-Iedere nacht wordt er ook een off-site snapshot gemaakt naar [[claude]].
-== Manier van backuppen ==
+== Off-site backups ==
-De backup scripts zitten in de [[Sysop scripts|Sysop SVN]]. Een korte uitleg per bestand:
+We slaan de data ook off-site op bij de universiteit. Dit is een virtuele machine met de naam [[Claude|claude]]. Dit gebeurd vanaf max, aangezien daar een 1:1 kopie staat van de data en op deze manier wordt haskell ontlast. De backups worden vanaf [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] gepulled vanaf max en door max eerst ge-gzipped en ge-encrypt, zodat de universiteit niet bij onze data kan. Naar [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] wordt elke eerste dag van de maand een complete kopie gedumped en voor de rest van de maand worden incrementele dumps gemaakt.
-* `bu-mksnapshot`: maakt met behulp van `rsync` een snapshot naar `/backup`. Door het gebruik van een hardlink copy is de benodigde diskruimte zeer beperkt (een overhead van 100 tot 200 MB voor directorystructuur, plus alle gewijzigde files).
+== Relevante scripts ==
-* `bu-rmsnapshots`: ruimt een aantal snapshots op om te voorkomen dat `/backup` vol raakt.
-* `bu-extern`: externe backup door claude.a-eskwadraat.nl. Typ 'bu-extern' voor built-in help inclusief setupinformatie. Op claude staat een kopie van dit script.
-== Nieuwe Systeem ==
+De volgende scripts en crons die te maken hebben met backups zijn allemaal in gebruik.
-In het nieuwe systeem worden backups gemaakt met behulp van [[Bacula]]. Op dit moment worden twee dingen gebackupt.
+*`/usr/local/bin/backupscript` op Haskell maakt elke 4 uur (door `/etc/cron.d/autobackup`) een snapshot en stuurt deze direct naar max.
-* Alle snapshots die Proxmox maakt worden gebackupt.
+*`/etc/cron.daily/cleansnapshots` draait op zowel Max als Haskell en ruimt elke dag oude snapshots op. Deze file is identiek op beide machines, dus aanpassingen moeten gesynced worden.
-* De /home van de MailNFS vm wordt apart gebackupt.
+*`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Max en slaat deze op.
-=== Virtual Machine Backup Schema ===
+[[Category:Sysop]]
-Van de virtual machine's ziet het backup schema er als volgt uit:SpaceWalk, IPA, GitSVN en WWW ziet het backup schema er
-* Van de vm's SpaceWalk, IPA, GitSVN en WWW wordt maandag t/m zaterdag een dagelijkse backup gemaakt.
-* Elke zondag, behalve op 1ste zondagen, wordt een wekelijkse backup gemaakt voor alle vm's
-* Elke 1ste zondag van de maand wordt een maandelijkse backup gemaakt van alle vm's
-−
-=== MailNFS Backup Schema ===
-Van de /home van MailnFS ziet het backup schema er als volgt uit:
-* Elke maandag t/m zaterdag wordt dagelijks een incrementele backup gemaakt.
-* Elke zondag, behalve op 1ste zondagen, wordt een wekelijkse differentiele backup gemaakt.
-* Elke 1ste zondag van de maand wordt een maandelijkse volledige backup gemaakt.
-−
-=== Soorten Backups ===
-Er wordt gebruik gemaakt van 3 verschillende soorten backups.
-* Incrementele backups zijn backups die alleen veranderingen tot de vorige backup (ongeacht het soort)
-* Differentiele backups zijn backups die alle veranderingen tot de vorige full backup opslaan.
-* Full backups zijn backups die alles opslaan.
-−
-=== Retention ===
-Backups worden niet voor eeuwig bewaard.
-* Dagelijkse backups worden na een week verwijdert.
-* Wekelijkse backups worden na een maand verwijdert.
-* Maandelijkse backups worden na 3 maanden verwijdert.