A-Eskwiki - User contributions [en]

SSL

2022-07-07T14:46:24Z

Samh:

== Uitleg ==

SSL wordt gebruikt om netwerk verbindingen te beveiligingen, zoals http en imap verkeer. Hiertoe gebruiken we bij a-eskwadraat een reverse proxy die het verkeer versleuteld voor de buitenwereld.

Voor het certificaat van A-Eskwadraat maken we op dit moment gebruik van xolphin: [https://www.sslcertificaten.nl/ https://www.sslcertificaten.nl/]

== Wachtwoord van certificaat halen ==

Indien de private key is beveiligd met een wachtwoord, dan is dit wachtwoord ook nodig bij het opstarten. Dit kan vervelend zijn wanneer de server opnieuw opstart zonder dat iemand ter plaatse is om het wachtwoord in te tikken. Het wachtwoord kan met het volgende commando worden verwijderd. Zorg hierbij dat de shell zich bevindt in de map waarin de private key staat opgeslagen:

[root@server cert]# openssl rsa -in encrypted_private_key.key -out private_key.key

Vervang hierbij encrypted_private_key.key met de naam van de private key, en vervang private_key.key met de gewenste bestandsnaam voor de nieuwe private key zonder wachtwoord.

== Aanmaken CSR ==

=== stap 1 ===

Maak met behulp van SSH verbinding met de server en log in als root. Ga met behulp van het cd-commando naar de map toe waar de certificaten moeten worden bewaard:

[root@server]# cd /etc/ssl/cert/

=== stap 2 ===

Met het volgende commando kunnen de Private Key en de CSR worden gegenereerd:
<pre style="font-family: monospace, Courier; padding: 1em; border-color: rgb(221, 221, 221); color: rgb(0, 0, 0); line-height: 1.1em; font-size: 12.6999998092651px; background-color: rgb(249, 249, 249)">[root@server]# openssl req -nodes -newkey rsa:2048 \
-keyout a-eskwadraat_nl.`date +%Y%m%d`.key \
-out a-eskwadraat_nl.`date +%Y%m%d`.csr \
-subj '/C=NL/ST=Utrecht/L=Utrecht/O=A-Eskwadraat/OU=Sysop/CN=*.a-eskwadraat.nl/emailAddress=sysop@a-eskwadraat.nl'
</pre>

=== stap 3 ===

OpenSSL genereert twee bestanden: de Private Key (met als naam a-eskwadraat_nl.{datum}.key) en de CSR (met als naam a-eskwadraat_nl.{datum}.csr).

=== stap 4 ===

Beveilig de certificaatbestanden zodat niemand behalve de rootgebruiker erbij kan:

[root@server cert]# chmod 600 *.key *.csr

=== stap 6 ===

Nu kan de CSR met behulp van het cat-commando worden weergegeven:

[root@server cert]# cat a-eskwadraat_nl.`date +%Y%m%d`.csr

De velden emailadres, optionele bedrijfsnaam en uitwisselingswachtwoord kunnen leeggelaten worden bij het aanvragen van een SSL certificaat.

== IPA SSL intern ==

Hier staat eigenlijk alles dat je moet weten: [http://www.freeipa.org/page/Apache_SNI_With_Kerberos http://www.freeipa.org/page/Apache_SNI_With_Kerberos] Het komt hier op neer (merk op dat 'dummyhost' de naam van de virtualhost is):

mkdir /etc/httpd/certs
semanage fcontext -a -t cert_t '/etc/httpd/certs(/.*)?' && restorecon -v /etc/httpd/certs
ipa host-add dummyhost.example.com --desc="Dummy Host" --location="<fqdn-of-webserver>"
ipa host-add-managedby dummyhost.example.com --hosts="<fqdn-of-webserver>"
ipa service-add HTTP/dummyhost.example.com
ipa service-add-host HTTP/dummyhost.example.com --hosts="<fqdn-of-webserver>"
ipa-getcert request -r -f /etc/httpd/certs/dummyhost.crt -k /etc/httpd/certs/dummyhost.key -N CN=dummyhost.example.com -D \
dummyhost.example.com -K HTTP/dummyhost.example.com

Het zou kunnen dat je de package ipa-admintools moet installeren.

== Let's Encrypt ==

=== Stap 1 ===

Inloggen op ernst.

=== Stap 2 ===

Certbot commando uitvoeren:

certbot certonly --manual -d *.a-eskwadraat.nl -d a-eskwadraat.nl --agree-tos --no-bootstrap --manual-public-ip-logging-ok --preferred-challenges dns-01

=== Stap 3 ===

Inloggen op vm-dns-auth.

=== Stap 4 ===

Twee TXT-records aanpassen in /etc/nsd/zones/a-eskwadaraat.nl.zone en timestamps aanpassen (van hele bestand).

=== Stap 5 ===

service nsd restart

Hierna uitloggen op vm-dns-auth.

=== Stap 6 ===

Ga verder met certbot script uit stap 2.

=== Stap 7 ===

service nginx restart

=== Stap 8 ===

Certificaat kopiëren naar mail server.

Log in op vm-mailpp

Verwijder de oude certificaten.
rm -f /etc/ssl/certs/mail_a-eskwadraat_nl.crt
rm -f /etc/ssl/certs/mail_a-eskwadraat_nl.key
Kopieër de nieuwe certificaten vanaf Ernst:
scp root@ernst:/etc/letsencrypt/live/a-eskwadraat.nl/fullchain.pem /etc/ssl/certs/mail_a-eskwadraat_nl.crt
scp root@ernst:/etc/letsencrypt/live/a-eskwadraat.nl/privkey.pem /etc/ssl/certs/mail_a-eskwadraat_nl.key
Herstart postfix en dovecot
systemctl restart postfix
systemctl restart dovecot

=== Stap 9 ===

Profit.

== Let's Encrypt introductie==
De website van de introductie intro-utrecht.nl gebruikt een eigen certificaat. Andere websites die genoemd staan in /etc/nginx/conf.d/vm-www-dmz.list werken nu ook via dit certificaat. Deze worden op het moment niet echt meer gebruikt, maar mochten hier problemen zijn met ssl ligt dat hier aan.
Voer het volgende commando uit op ernst om het intro certificaat te vernieuwen:
certbot certonly --webroot -d intro-utrecht.nl,www.intro-utrecht.nl,bachelor.intro-utrecht.nl

Als er gevraagd wordt om een webroot, vul dan in:
/var/www/bachelor.intro-utrecht.nl/.well-known

[[Category:Sysop]]

Raspberry pi

2022-02-17T15:38:32Z

Samh:

We hebben 3 raspberry pi's in gebruik

De dibs tablet (pi4dibs), tv informatiescherm (pi4tv) en commissiescherm.

De dibs tablet maakt gebruik van de volgende nfc reader: https://www.emartee.com/product/42045/
De dibs weergave is van het webadres: https://www.a-eskwadraat.nl/Leden/Dibs/DibsTablet/. Deze is alleen bereikbaar vanaf het ipadres van de dibs pi

de dibs-tablet draaien op raspberry pi os (vroeger raspbian). De andere twee draaien nog op raspbian.

De dbibs-tablet werkt met de chromium browser die in kiosk modus draait. Dit kan voor elkaar gekregen worden door het bestand: /etc/xdg/lxsession/LXDE-pi/autostart aan te passen en de volgende regel aan het eind toe te voegen: /usr/bin/chromium-browser --noerrdialogs --disable-infobars --kiosk https://www.a-eskwadraat.nl/Leden/Dibs/DibsTablet/

[[Category:Sysop]]

Raspberry pi

2021-11-01T19:30:53Z

Samh:

Raspberry pi

2021-11-01T18:46:44Z

Samh:

We hebben 3 raspberry pi's in gebruik

De dibs tablet, tv informatiescherm en commissiescherm.

De dibs tablet maakt gebruik van de volgende nfc reader: https://www.emartee.com/product/42045/

de dibs-tablet draaien op raspberry pi os (vroeger raspbian). De andere twee draaien nog op raspbian.

[[Category:Sysop]]

Raspberry pi

2021-11-01T18:45:35Z

Samh: Created page with "We hebben 3 raspberry pi's in gebruik De dibs tablet, tv informatiescherm en commissiescherm. De dibs tablet maakt gebruik van de volgende nfc reader: https://www.emartee.co..."

DMZ

2021-09-11T12:54:54Z

Samh:

Op het moment van schrijven onderhoudt de sysop de [[Container|container]] ct-www-dmz. Hier staan alle a-eskwadraat-gerelateerde websites en subdomeinen van commissies op die niet onder www.a-eskwadraat.nl vallen. Denk hierbij aan een website voor het pion, de studiereis, symposium of intro.

== Subdomein aanmaken ==

Als eerste moet je er zeker van zijn dat de configuratie voor je subdomein in ernst staat zodat hij weet naar welke machine hij het subdomein moet sturen. Op ernst staat in /etc/nginx/conf.d een bestsand vm-www-dmz.aeslist. Zet hier je subdomein neer als die er al niet tussen staat. Reload daarna nginx (NIET restarten, dat duurt lang en dan doen alle a-eskwadraatwebsites het even niet).

De vm-www-dmz werkt met apache. De configuratiebestanden hiervoor kan je vinden in /etc/httpd/conf.d. In die map staat de map sites-available (komt nog van het oude debian-tijdperk) waarin alle subdomeinen staan. Voor een nieuw subdomein is het het handigst als je hiervoor een nieuw bestand aanmaakt. Stel je wilt voor de pion2016 een subdomein maken. Maak dan het bestand pion2016 aan. Zet daar dan het volgende in:
<pre><VirtualHost *:80>
        DocumentRoot /srv/http/pion2016
        ServerName pion2016.a-eskwadraat.nl
        CustomLog /var/log/httpd/pion2016-access.log combined
        AssignUserId pion2016 pion2016
</VirtualHost></pre>

De DocumentRoot is de plek op het fs waar de map staat waar de site in staat, de ServerName is de url van het subdomein, CustomLog is het bestand waar de logs voor dit subdomein naar toe moeten worden geschreven. AssignUserId moet je ook niet vergeten, die zorgt ervoor dat in de waar de website staat de cie en leden van de cie alles kunnen beheren zonder dat alle groeprechten op apache moeten staan.

Als je een wat algemener subdomein aanmaakt waar er al vorige instanties van zijn geweest (denk bijvoorbeeld aan pion.a-eskwadraat.nl), zet dan simpelweg hetzelfde VirtualHost-blok neer maar verander de servername. Vergeet ook niet om de al eerder bestaande pion.a-eskwadraat.nl configuratie weg te halen, want die wordt toch niet meer gebruikt.

Maak nu in /srv/http de map aan zoals je die hebt beschreven in je virtualhost. Zet de rechten op de commissie die de site beheert (bv: chown pion2016:pion2016 /srv/http/pion2016) en zet de groeprechten op ook schrijfbaar (BELANGRIJK!) (bv: chmod g+w /srv/http/pion2016).

Je subdomein is nu goed geconfigureerd! Vaak is het ook nog netjes om een symlink in de homdir van de cie naar de dir van de website neer te zetten (dus in dit geval: ln -s /srv/http/pion2016 ~pion2016/site).

'''Bij het wijzigen van een al bestaand subdomein is er vaak een reload nodig''' (systemctl reload httpd)

[[Category:Sysop]]

Backup

2021-05-31T20:05:35Z

Samh:

Geregeld worden er '''backups''' gemaakt van een groot deel van het systeem. Hier vallen onder andere de home directories en virtuele machines onder. De WebCie heeft ook een grote hoeveelheid incrementele databasebackups.

== Interne backups ==

De interne backups zijn bedoeld om bestanden terug te kunnen halen die per ongeluk verwijderd zijn. Elke 4 uur, met middernacht als offset, wordt er een recursieve snapshot gemaakt van alle data. Deze 4 uurlijkse snapshots worden, op die van middernacht na, 2 dagen bewaard. De snapshots van middernacht worden standaard 2 weken bewaard, met enkele uitzonderingen zoals de home directories. Deze uitzonderingen plus hun retention tijd staan op haskell in `/etc/cron.daily/managesnapshot`.

Deze 4 uurlijkse backups worden direct gesynced naar de on-site backup in de vorm van Nikola.

Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.

Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Om deze snapshots ook naar nikola te halen wordt er ook van deze package gebruik gemaakt. Hiervoor wordt er gebruik gemaakt van de zfs flag: ''autobackup:stephen-backup-nikola'' op stephen en het commando (op nikola) ''zfs-autobackup --ssh-source stephen stephen-backup-nikola storage/backup/stephen --progress --verbose'' voor het daadwerkelijk maken van de backup. Dit commando wordt elke dag om 00:00 uitgevoerd doormiddel van een cronjob

== Off-site backups ==

We slaan de data ook off-site op bij de universiteit. Dit is een virtuele machine met de naam [[Claude|claude]]. Dit gebeurd vanaf Nikola(vroeger max), aangezien daar een 1:1 kopie staat van de data en op deze manier wordt haskell ontlast. De backups worden vanaf [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] gepulled vanaf Nikola en door Nikola eerst ge-gzipped en ge-encrypt, zodat de universiteit niet bij onze data kan. Naar [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] wordt elke eerste dag van de maand een complete kopie gedumped en voor de rest van de maand worden incrementele dumps gemaakt.

== Relevante scripts ==

De volgende scripts en crons die te maken hebben met backups zijn allemaal in gebruik.

*`/usr/local/bin/backupscript` op Haskell maakt elke 4 uur (door `/etc/cron.d/autobackup`) een snapshot en stuurt deze direct naar Nikola.
*`/etc/cron.daily/cleansnapshots` draait op zowel Nikola als Haskell en ruimt elke dag oude snapshots op. Deze file is identiek op beide machines, dus aanpassingen moeten gesynced worden.
*`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Nikola en slaat deze op.
*`/usr/local/bin/cleanbackups`op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] ruimt oude snapshots op als de ruimte (2TB) vol dreigt te raken. Vol is >90%. Dit is een cron die elke 5 minuten checkt. Mocht er iets fout gaan zoals dat er bij het opruimen niet tenminste 1 volledige backup altijd bewaard blijft, dan mailt deze dit. Het gebeurd nog wel eens dat de nfs share van de universiteit eruit knalt, en dan flipt dit script ook.

== WebCie: snapshots van de database ==

Op de vm-www maakt een script automatisch elke 10 minuten een dump van de database. Een diff met de vorige db-dump wordt opgeslagen in het archief (<code>haskell:/srv/www/archief</code>): vanaf de [[vm-www]] beschikbaar op <code>/archief/www/2018-08/07/whoswho4.2018-08-07_13_00.diff</code> bijvoorbeeld. Ook wordt elke dag een volledige db-dump opgeslagen. Elke maand worden de volledige dumps en alle diffs samen gecomprimeerd. De dumps kun je gebruiken om per ongeluk gewiste data weer terug te zetten.

=== Backup van binaire logs ===

Omdat het diffprogramma soms te lang deed over het backuppen omdat de diffs heeeeeeeeel lang werden, gaan we de binaire logs gebruiken voor backups.

Als je in de mysql-configuratie de optie log-bin aanzet, zal mysql alle updates aan de databases opschrijven in een logbestand. Dit kun je gebruiken voor [[replicatie]], of voor backups. Elke 10 minuten worden de logs geflusht en alle nieuwe bestanden gekopieerd naar het www-archief. Vervolgens worden de oude logbestanden weggegooid (zodat we niet de volledige geschiedenis steeds opnieuw overnemen). PAS OP: als je replicatie doet en een andere server is offline terwijl de logs worden weggegooid, kan die niet zomaar meer up-to-date komen! Zodra je weer replicatie wilt aanzetten (zoals [[Webcie-vm#Mariadb_en_replicatie|als je een nieuwe VM wilt maken]], moet je dus een goede oplossing hiervoor verzinnen. (Misschien: houd bij welke logbestanden al gekopieerd zijn en sla die over?)

* https://dev.mysql.com/doc/refman/8.0/en/backup-methods.html
* https://dev.mysql.com/doc/refman/8.0/en/binary-log.html
* https://dev.mysql.com/doc/refman/8.0/en/point-in-time-recovery.html

=== Encryptie van de backups ===

Alle WebCie backups worden nu encrypted opgeslagen. De public key die hier voor gebruikt wordt is de "A-Eskwadraat Backup Service <webcie@a-eskwadraat.nl>" key. Deze public key staat geregistreerd in de keychain van de apache user op de vm-www2. Daarnaast is de public key te vinden in [deze](https://gitlab.com/iba-aes/webcie/website/snippets/1835239) Gitlab snippet. De private key wordt bewaard door het bestuur en de WebCie voorzitter.

=== Decrypten van data ===

Is het nodig om de data te decrypten? Volg het volgende stappenplan.

* Vraag het bestuur/de WebCie voorzitter om de USB stick met de private key.
* Importeer de private key: `gpg --import <keynaam>`
* Decrypt de data: `gpg --output <outputfile> --decrypt <inputfile>`
* Verwijder de private key nadat je klaar bent: `gpg --delete-secret-key webcie@a-eskwadraat.nl`

[[Category:Sysop]]
[[Category:WebCie]]

Backup

2021-05-31T20:03:06Z

Samh:

Geregeld worden er '''backups''' gemaakt van een groot deel van het systeem. Hier vallen onder andere de home directories en virtuele machines onder. De WebCie heeft ook een grote hoeveelheid incrementele databasebackups.

== Interne backups ==

De interne backups zijn bedoeld om bestanden terug te kunnen halen die per ongeluk verwijderd zijn. Elke 4 uur, met middernacht als offset, wordt er een recursieve snapshot gemaakt van alle data. Deze 4 uurlijkse snapshots worden, op die van middernacht na, 2 dagen bewaard. De snapshots van middernacht worden standaard 2 weken bewaard, met enkele uitzonderingen zoals de home directories. Deze uitzonderingen plus hun retention tijd staan op haskell in `/etc/cron.daily/managesnapshot`.

Deze 4 uurlijkse backups worden direct gesynced naar de on-site backup in de vorm van Nikola.

Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.

Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola en het commando (op nikola) ''zfs-autobackup --ssh-source stephen stephen-backup-nikola storage/backup/stephen --progress --verbose''. Dit commando wordt elke dag om 00:00 uitgevoerd doormiddel van een cronjob

== Off-site backups ==

We slaan de data ook off-site op bij de universiteit. Dit is een virtuele machine met de naam [[Claude|claude]]. Dit gebeurd vanaf Nikola(vroeger max), aangezien daar een 1:1 kopie staat van de data en op deze manier wordt haskell ontlast. De backups worden vanaf [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] gepulled vanaf Nikola en door Nikola eerst ge-gzipped en ge-encrypt, zodat de universiteit niet bij onze data kan. Naar [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] wordt elke eerste dag van de maand een complete kopie gedumped en voor de rest van de maand worden incrementele dumps gemaakt.

== Relevante scripts ==

De volgende scripts en crons die te maken hebben met backups zijn allemaal in gebruik.

*`/usr/local/bin/backupscript` op Haskell maakt elke 4 uur (door `/etc/cron.d/autobackup`) een snapshot en stuurt deze direct naar Nikola.
*`/etc/cron.daily/cleansnapshots` draait op zowel Nikola als Haskell en ruimt elke dag oude snapshots op. Deze file is identiek op beide machines, dus aanpassingen moeten gesynced worden.
*`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Nikola en slaat deze op.
*`/usr/local/bin/cleanbackups`op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] ruimt oude snapshots op als de ruimte (2TB) vol dreigt te raken. Vol is >90%. Dit is een cron die elke 5 minuten checkt. Mocht er iets fout gaan zoals dat er bij het opruimen niet tenminste 1 volledige backup altijd bewaard blijft, dan mailt deze dit. Het gebeurd nog wel eens dat de nfs share van de universiteit eruit knalt, en dan flipt dit script ook.

== WebCie: snapshots van de database ==

Op de vm-www maakt een script automatisch elke 10 minuten een dump van de database. Een diff met de vorige db-dump wordt opgeslagen in het archief (<code>haskell:/srv/www/archief</code>): vanaf de [[vm-www]] beschikbaar op <code>/archief/www/2018-08/07/whoswho4.2018-08-07_13_00.diff</code> bijvoorbeeld. Ook wordt elke dag een volledige db-dump opgeslagen. Elke maand worden de volledige dumps en alle diffs samen gecomprimeerd. De dumps kun je gebruiken om per ongeluk gewiste data weer terug te zetten.

=== Backup van binaire logs ===

Omdat het diffprogramma soms te lang deed over het backuppen omdat de diffs heeeeeeeeel lang werden, gaan we de binaire logs gebruiken voor backups.

Als je in de mysql-configuratie de optie log-bin aanzet, zal mysql alle updates aan de databases opschrijven in een logbestand. Dit kun je gebruiken voor [[replicatie]], of voor backups. Elke 10 minuten worden de logs geflusht en alle nieuwe bestanden gekopieerd naar het www-archief. Vervolgens worden de oude logbestanden weggegooid (zodat we niet de volledige geschiedenis steeds opnieuw overnemen). PAS OP: als je replicatie doet en een andere server is offline terwijl de logs worden weggegooid, kan die niet zomaar meer up-to-date komen! Zodra je weer replicatie wilt aanzetten (zoals [[Webcie-vm#Mariadb_en_replicatie|als je een nieuwe VM wilt maken]], moet je dus een goede oplossing hiervoor verzinnen. (Misschien: houd bij welke logbestanden al gekopieerd zijn en sla die over?)

* https://dev.mysql.com/doc/refman/8.0/en/backup-methods.html
* https://dev.mysql.com/doc/refman/8.0/en/binary-log.html
* https://dev.mysql.com/doc/refman/8.0/en/point-in-time-recovery.html

=== Encryptie van de backups ===

Alle WebCie backups worden nu encrypted opgeslagen. De public key die hier voor gebruikt wordt is de "A-Eskwadraat Backup Service <webcie@a-eskwadraat.nl>" key. Deze public key staat geregistreerd in de keychain van de apache user op de vm-www2. Daarnaast is de public key te vinden in [deze](https://gitlab.com/iba-aes/webcie/website/snippets/1835239) Gitlab snippet. De private key wordt bewaard door het bestuur en de WebCie voorzitter.

=== Decrypten van data ===

Is het nodig om de data te decrypten? Volg het volgende stappenplan.

* Vraag het bestuur/de WebCie voorzitter om de USB stick met de private key.
* Importeer de private key: `gpg --import <keynaam>`
* Decrypt de data: `gpg --output <outputfile> --decrypt <inputfile>`
* Verwijder de private key nadat je klaar bent: `gpg --delete-secret-key webcie@a-eskwadraat.nl`

[[Category:Sysop]]
[[Category:WebCie]]

Backup

2021-05-31T15:05:44Z

Samh:

Geregeld worden er '''backups''' gemaakt van een groot deel van het systeem. Hier vallen onder andere de home directories en virtuele machines onder. De WebCie heeft ook een grote hoeveelheid incrementele databasebackups.

== Interne backups ==

De interne backups zijn bedoeld om bestanden terug te kunnen halen die per ongeluk verwijderd zijn. Elke 4 uur, met middernacht als offset, wordt er een recursieve snapshot gemaakt van alle data. Deze 4 uurlijkse snapshots worden, op die van middernacht na, 2 dagen bewaard. De snapshots van middernacht worden standaard 2 weken bewaard, met enkele uitzonderingen zoals de home directories. Deze uitzonderingen plus hun retention tijd staan op haskell in `/etc/cron.daily/managesnapshot`.

Deze 4 uurlijkse backups worden direct gesynced naar de on-site backup in de vorm van Nikola.

Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.

Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola en het commando (op nikola) ''zfs-autobackup --ssh-source stephen stephen-backup-nikola storage/backup/stephen --progress --verbose''. Op het moment van schrijven wordt de eerste backup op deze manier overgezet. Er is nog geen cronjob voor aangemaakt dit moet dus nog gebeuren.

== Off-site backups ==

We slaan de data ook off-site op bij de universiteit. Dit is een virtuele machine met de naam [[Claude|claude]]. Dit gebeurd vanaf Nikola(vroeger max), aangezien daar een 1:1 kopie staat van de data en op deze manier wordt haskell ontlast. De backups worden vanaf [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] gepulled vanaf Nikola en door Nikola eerst ge-gzipped en ge-encrypt, zodat de universiteit niet bij onze data kan. Naar [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] wordt elke eerste dag van de maand een complete kopie gedumped en voor de rest van de maand worden incrementele dumps gemaakt.

== Relevante scripts ==

De volgende scripts en crons die te maken hebben met backups zijn allemaal in gebruik.

*`/usr/local/bin/backupscript` op Haskell maakt elke 4 uur (door `/etc/cron.d/autobackup`) een snapshot en stuurt deze direct naar Nikola.
*`/etc/cron.daily/cleansnapshots` draait op zowel Nikola als Haskell en ruimt elke dag oude snapshots op. Deze file is identiek op beide machines, dus aanpassingen moeten gesynced worden.
*`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Nikola en slaat deze op.
*`/usr/local/bin/cleanbackups`op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] ruimt oude snapshots op als de ruimte (2TB) vol dreigt te raken. Vol is >90%. Dit is een cron die elke 5 minuten checkt. Mocht er iets fout gaan zoals dat er bij het opruimen niet tenminste 1 volledige backup altijd bewaard blijft, dan mailt deze dit. Het gebeurd nog wel eens dat de nfs share van de universiteit eruit knalt, en dan flipt dit script ook.

== WebCie: snapshots van de database ==

Op de vm-www maakt een script automatisch elke 10 minuten een dump van de database. Een diff met de vorige db-dump wordt opgeslagen in het archief (<code>haskell:/srv/www/archief</code>): vanaf de [[vm-www]] beschikbaar op <code>/archief/www/2018-08/07/whoswho4.2018-08-07_13_00.diff</code> bijvoorbeeld. Ook wordt elke dag een volledige db-dump opgeslagen. Elke maand worden de volledige dumps en alle diffs samen gecomprimeerd. De dumps kun je gebruiken om per ongeluk gewiste data weer terug te zetten.

=== Backup van binaire logs ===

Omdat het diffprogramma soms te lang deed over het backuppen omdat de diffs heeeeeeeeel lang werden, gaan we de binaire logs gebruiken voor backups.

Als je in de mysql-configuratie de optie log-bin aanzet, zal mysql alle updates aan de databases opschrijven in een logbestand. Dit kun je gebruiken voor [[replicatie]], of voor backups. Elke 10 minuten worden de logs geflusht en alle nieuwe bestanden gekopieerd naar het www-archief. Vervolgens worden de oude logbestanden weggegooid (zodat we niet de volledige geschiedenis steeds opnieuw overnemen). PAS OP: als je replicatie doet en een andere server is offline terwijl de logs worden weggegooid, kan die niet zomaar meer up-to-date komen! Zodra je weer replicatie wilt aanzetten (zoals [[Webcie-vm#Mariadb_en_replicatie|als je een nieuwe VM wilt maken]], moet je dus een goede oplossing hiervoor verzinnen. (Misschien: houd bij welke logbestanden al gekopieerd zijn en sla die over?)

* https://dev.mysql.com/doc/refman/8.0/en/backup-methods.html
* https://dev.mysql.com/doc/refman/8.0/en/binary-log.html
* https://dev.mysql.com/doc/refman/8.0/en/point-in-time-recovery.html

=== Encryptie van de backups ===

Alle WebCie backups worden nu encrypted opgeslagen. De public key die hier voor gebruikt wordt is de "A-Eskwadraat Backup Service <webcie@a-eskwadraat.nl>" key. Deze public key staat geregistreerd in de keychain van de apache user op de vm-www2. Daarnaast is de public key te vinden in [deze](https://gitlab.com/iba-aes/webcie/website/snippets/1835239) Gitlab snippet. De private key wordt bewaard door het bestuur en de WebCie voorzitter.

=== Decrypten van data ===

Is het nodig om de data te decrypten? Volg het volgende stappenplan.

* Vraag het bestuur/de WebCie voorzitter om de USB stick met de private key.
* Importeer de private key: `gpg --import <keynaam>`
* Decrypt de data: `gpg --output <outputfile> --decrypt <inputfile>`
* Verwijder de private key nadat je klaar bent: `gpg --delete-secret-key webcie@a-eskwadraat.nl`

[[Category:Sysop]]
[[Category:WebCie]]

Backup

2021-05-27T20:48:52Z

Samh:

Geregeld worden er '''backups''' gemaakt van een groot deel van het systeem. Hier vallen onder andere de home directories en virtuele machines onder. De WebCie heeft ook een grote hoeveelheid incrementele databasebackups.

== Interne backups ==

De interne backups zijn bedoeld om bestanden terug te kunnen halen die per ongeluk verwijderd zijn. Elke 4 uur, met middernacht als offset, wordt er een recursieve snapshot gemaakt van alle data. Deze 4 uurlijkse snapshots worden, op die van middernacht na, 2 dagen bewaard. De snapshots van middernacht worden standaard 2 weken bewaard, met enkele uitzonderingen zoals de home directories. Deze uitzonderingen plus hun retention tijd staan op haskell in `/etc/cron.daily/managesnapshot`.

Deze 4 uurlijkse backups worden direct gesynced naar de on-site backup in de vorm van Nikola.

Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.

Momenteel worden backups van Stephen gemaakt met [https://github.com/psy0rz/zfs_autobackup ZFS Autobackup]. Deze worden kunnen ook naar Nikola gehaald worden met dit script. Hiervoor wordt er gebruik gemaakt van de flag: autobackup:stephen-backup-nikola. Op het moment van schrijven wordt de eerste backup op deze manier overgezet. Er is nog geen cronjob voor aangemaakt dit moet dus nog gebeuren.

== Off-site backups ==

We slaan de data ook off-site op bij de universiteit. Dit is een virtuele machine met de naam [[Claude|claude]]. Dit gebeurd vanaf Nikola(vroeger max), aangezien daar een 1:1 kopie staat van de data en op deze manier wordt haskell ontlast. De backups worden vanaf [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] gepulled vanaf Nikola en door Nikola eerst ge-gzipped en ge-encrypt, zodat de universiteit niet bij onze data kan. Naar [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] wordt elke eerste dag van de maand een complete kopie gedumped en voor de rest van de maand worden incrementele dumps gemaakt.

== Relevante scripts ==

De volgende scripts en crons die te maken hebben met backups zijn allemaal in gebruik.

*`/usr/local/bin/backupscript` op Haskell maakt elke 4 uur (door `/etc/cron.d/autobackup`) een snapshot en stuurt deze direct naar Nikola.
*`/etc/cron.daily/cleansnapshots` draait op zowel Nikola als Haskell en ruimt elke dag oude snapshots op. Deze file is identiek op beide machines, dus aanpassingen moeten gesynced worden.
*`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Nikola en slaat deze op.
*`/usr/local/bin/cleanbackups`op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] ruimt oude snapshots op als de ruimte (2TB) vol dreigt te raken. Vol is >90%. Dit is een cron die elke 5 minuten checkt. Mocht er iets fout gaan zoals dat er bij het opruimen niet tenminste 1 volledige backup altijd bewaard blijft, dan mailt deze dit. Het gebeurd nog wel eens dat de nfs share van de universiteit eruit knalt, en dan flipt dit script ook.

== WebCie: snapshots van de database ==

Op de vm-www maakt een script automatisch elke 10 minuten een dump van de database. Een diff met de vorige db-dump wordt opgeslagen in het archief (<code>haskell:/srv/www/archief</code>): vanaf de [[vm-www]] beschikbaar op <code>/archief/www/2018-08/07/whoswho4.2018-08-07_13_00.diff</code> bijvoorbeeld. Ook wordt elke dag een volledige db-dump opgeslagen. Elke maand worden de volledige dumps en alle diffs samen gecomprimeerd. De dumps kun je gebruiken om per ongeluk gewiste data weer terug te zetten.

=== Backup van binaire logs ===

Omdat het diffprogramma soms te lang deed over het backuppen omdat de diffs heeeeeeeeel lang werden, gaan we de binaire logs gebruiken voor backups.

Als je in de mysql-configuratie de optie log-bin aanzet, zal mysql alle updates aan de databases opschrijven in een logbestand. Dit kun je gebruiken voor [[replicatie]], of voor backups. Elke 10 minuten worden de logs geflusht en alle nieuwe bestanden gekopieerd naar het www-archief. Vervolgens worden de oude logbestanden weggegooid (zodat we niet de volledige geschiedenis steeds opnieuw overnemen). PAS OP: als je replicatie doet en een andere server is offline terwijl de logs worden weggegooid, kan die niet zomaar meer up-to-date komen! Zodra je weer replicatie wilt aanzetten (zoals [[Webcie-vm#Mariadb_en_replicatie|als je een nieuwe VM wilt maken]], moet je dus een goede oplossing hiervoor verzinnen. (Misschien: houd bij welke logbestanden al gekopieerd zijn en sla die over?)

* https://dev.mysql.com/doc/refman/8.0/en/backup-methods.html
* https://dev.mysql.com/doc/refman/8.0/en/binary-log.html
* https://dev.mysql.com/doc/refman/8.0/en/point-in-time-recovery.html

=== Encryptie van de backups ===

Alle WebCie backups worden nu encrypted opgeslagen. De public key die hier voor gebruikt wordt is de "A-Eskwadraat Backup Service <webcie@a-eskwadraat.nl>" key. Deze public key staat geregistreerd in de keychain van de apache user op de vm-www2. Daarnaast is de public key te vinden in [deze](https://gitlab.com/iba-aes/webcie/website/snippets/1835239) Gitlab snippet. De private key wordt bewaard door het bestuur en de WebCie voorzitter.

=== Decrypten van data ===

Is het nodig om de data te decrypten? Volg het volgende stappenplan.

* Vraag het bestuur/de WebCie voorzitter om de USB stick met de private key.
* Importeer de private key: `gpg --import <keynaam>`
* Decrypt de data: `gpg --output <outputfile> --decrypt <inputfile>`
* Verwijder de private key nadat je klaar bent: `gpg --delete-secret-key webcie@a-eskwadraat.nl`

[[Category:Sysop]]
[[Category:WebCie]]

Intro sysop

2021-05-17T20:08:47Z

Samh:

De intro heeft een speciale map ''/home/cies/intromap'' gekregen in 2021, aangezien hun google drive map te groot werd. Hiervoor hebben we een speciale group aangemaakt in IPA, ''intromap''. Dit is dus geen complete cie, want het heeft geen email adres en dergelijke. De bedoeling van deze map is dat zodra er een nieuwe intro commissie is de nieuwe commissie hier toegang toe krijgt en de oude deze toegang kwijt raakt. Dit wordt gedaan door het commando ''ipa group-add-member'' uit te voeren en bij de group ''intromap'' in te vullen en bij de volgende vragen de naam van de nieuwste intro commissie. Hiermee wordt de hele intro commissie indirect lid van de intromap group op het systeem.

Verwijderen van de oude commissie gaat met ''ipa group-remove-member''.

Door deze structuur is het dus niet de bedoeling dat de intro gevoelige gegevens in deze map zet, aangezien die dan achter kunnen blijven.
[[Category:Sysop]]

Intro sysop

2021-05-17T20:06:22Z

Samh:

De intro heeft een speciale map gekregen in 2021, aangezien hun google drive map te groot werd. Hiervoor hebben we een speciale group aangemaakt in IPA, ''intromap''. Dit is dus geen complete cie, want het heeft geen email adres en dergelijke. De bedoeling van deze map is dat zodra er een nieuwe intro commissie is de nieuwe commissie hier toegang toe krijgt en de oude deze toegang kwijt raakt. Dit wordt gedaan door het commando ''ipa group-add-member'' uit te voeren en bij de group ''intromap'' in te vullen en bij de volgende vragen de naam van de nieuwste intro commissie. Hiermee wordt de hele intro commissie indirect lid van de intromap group op het systeem.

Verwijderen van de oude commissie gaat met ''ipa group-remove-member''.

Door deze structuur is het dus niet de bedoeling dat de intro gevoelige gegevens in deze map zet, aangezien die dan achter kunnen blijven.
[[Category:Sysop]]

Intro sysop

2021-05-17T20:05:15Z

Samh: Created page with "De intro heeft een speciale map gekregen in 2021, aangezien hun google drive map te groot werd. Hiervoor hebben we een speciale group aangemaakt in IPA, ''intromap''. Dit is d..."

Mail

2021-05-17T19:06:13Z

Samh:

Bij A–Eskwadraat gebruiken we '''Maildir''' voor de opslag van e-mail van gebruikers. We raden gebruikers aan om niet direct de Maildirmappen te benaderen, maar om dit via [http://en.wikipedia.org/wiki/Internet_Message_Access_Protocol IMAP] of [http://www.washington.edu/alpine/ Alpine] te doen. De standaardconfiguratie van de meeste mailclients staat hier ook voor ingesteld.
Je kunt je mail bekijken op mail.a-eskwadraat.nl.
== Services ==

Op [[Haskell|haskell]] draait de virtuele machine vm-mailpp (spreek uit: mail plus plus) om het mailverkeer van en naar A-Eskwadraat te regelen:

*[http://www.postfix.org/ postfix] (''/etc/postfix/'') verwerkt in principe alle binnenkomende mails, en wat er waarheen doorgestuurd moet worden;
*[http://www.dovecot.org/ dovecot] (''/etc/dovecot/'') neemt de POP- en IMAP-servers voor zijn rekening en verzorgt authenticatie voor het versturen van mails;
*[https://www.amavis.org/ amavis] (''/etc/amavisd/'') geeft alle binnenkomende mails door aan SpamAssassin en ClamAV om gefilterd te worden;
*[http://spamassassin.apache.org/ SpamAssassin] (''/etc/mail/spamassassin/'') [[Mailfiltering|filtert]] de spam uit het binnenkomende mailverkeer;
*[http://http://www.clamav.net/lang/en/ ClamAV] (''/etc/clamd.d/'') scant het mailverkeer voor virussen en dergelijke;
*[https://roundcube.net/ RoundCube] (''/etc/roundcubemail/'', ''/usr/share/roundcubemail'') is een webmailclient die in een [https://www.apache.org/ apache] webserver op vm-mailpp draait;
*[http://www.list.org/ Mailman] (''/etc/mailman/'') Mailman is verantwoordelijk voor de mailing lists, zoals de BBCie-announce.

== Naamgeving Maildirmappen ==

Let op dat om voor dovecot begrijpbare namen te hebben, de mappen op in ''~/Maildir'' altijd met een punt moeten beginnen. Submappen werken ook op deze manier. Een paar voorbeelden:

*''~/Maildir/.Intro/'' voor de IMAP-map ''Intro'';
*''~/Maildir/.Sysop.postmaster/'' voor de map ''postmaster'' als submap van ''Sysop''.

Als de mappen via IMAP worden aangemaakt gebeurt dit automatisch.

== Postfix ==

Postfix is de SMTP server voor de vm-mailpp.

Postfix gebruikt meerdere ports om mail te ontvangen en te verwerken. Mail die wordt gestuurd door leden moet naar de SMTP daemon op port 587 (''submission'' poort) worden gestuurd. Authenticatie en TLS encryptie zijn een vereiste op deze verbinding. In de toekomst zal de [[Router|Router]] de encryptie tussen client en mail-server regelen. Alle andere mail komt binnen op port 25. Spam- en virus-filtering gebeurd via de SMTP daemons op ports 10025 en 10027 voor onbekende en bekende mail, respectievelijk.

In ''/etc/postfix/master.cf'' staat de configuratie van deze daemons. De configuratie in ''/etc/postfix/main.cf'' wordt gebruikt voor zaken die niet in ''master.cf'' zijn opgegeven; in principe staat hier de configuratie voor poort 25 en worden de opties specifiek voor de andere poorten opgegeven in ''master.cf''.

Een bug/feature van postfix die slecht gedocumenteerd is, is als volgt: wanneer postfix langer dan 10 seconden duurt over het authentiseren van een email, wordt deze geweigerd met een verkeerde foutmelding: "535 5.7.8 Error: authentication failed: Connection lost to authentication server (SMTP AUTH failed with the remote server)".

=== Transport ===

Eerst checkt Postfix of de inkomende mail aan een lokaal mailadres is gestuurd. Welke domeinen als 'lokaal' worden bestempeld staat in ''/etc/postfix/domains/local''. Voor lokale mailadressen geldt, dat het domein in de verdere configuratie kan worden weggelaten. Daarna checkt Postfix of de inkomende mail naar een virtueel domein is gestuurd. Mailadressen van domeinen zoals turingslegacy.nl worden herschreven naar lokale mailadressen (zonder domeinnaam). De virtuele domeinen staan in ''/etc/postfix/domains/virtual''.

De overblijvende adressen, worden opgezocht in de bestanden met aliases in /etc/postfix/aliases, om te zien of de mail toevallig naar een ander lokaal mailadres doorgestuurd moet worden. Postfix gebruikt hiervoor de bestanden in .db formaat, de tekstbestanden zonder extensie zijn voor ons als sysop leesbaar en te bewerken maar moeten wel met ''postalias'' in een .db bestand omgezet worden naar iedere wijziging. (Let op voor bestanden die ingedeeld zijn zoals het bestand virtual onder domains, moeten worden aangepast met het commando ''postmap <bestandsnaam>'') Als iemand dit vergeet na het aanpassen van een bestand met aliases, plaatst postfix een melding in ''/var/log/maillog'': "database file ''bestandsnaam''.db is older than source file ''bestandsnaam''". Nu blijven er als het goed is, alleen gebruikersnamen over die op het systeem bestaan. Voor deze gebruikers wordt het bestand ''.forward'' in de homedirectory van de gebruiker opgezocht.

Als in een ''.forward'' bestand de gebruikersnaam voorafgegaan door een backslash (\) wordt aangetroffen, wordt de mail in de Maildir map van die gebruiker geplaatst. Als een regel met een pipe (|) wordt aangetroffen, wordt het mailbericht doorgegeven als standard input aan het commando dat achter het |-teken staat. Andere regels met tekst worden geïnterpreteerd als mailadressen (lokaal zonder domeinnaam of willekeurig mailadres met domeinnaam) waarnaar de mail moet worden doorgestuurd. ''Let op bij het gebruiken van de pipe (|): het kan zijn dat SELinux niet toestaat dat postfix een ander programma direct aanroept.''

Als de mail niet bij een lokaal of virtueel adres hoort, checkt postfix of de inkomende mail is gestuurd naar een domein waarvoor A-Eskwadraat mail relayet. Deze mail word onveranderd naar de mailserver van dat domein verstuurd (relaying). Dit voorkomt verlies van mail voor het externe domein wanneer hun mailserver uitvalt, aangezien A-Eskwadraat de secondary mailserver is voor dat domein. Een uitzondering op de regel is mail bedoeld voor de webserver. Mail aan de webcie komt binnen op de mail server, maar moet worden doorgestuurd naar de webserver. De verwijzingen zijn te vinden in ''/etc/postfix/transport_www'' en ''/etc/postfix/transport_regex''.

Let op dat deze uitleg heel erg bot is. Lees de relevante ''man'' pages van Postfix om te leren hoe mail word verwerkt. Let op dat veranderingen in een alias/transport/domain map niet worden opgemerkt tot het ''postmap'' of ''postalias'' op het bestand is aangeroepen!

=== Mail Authorisatie ===

Om te controleren of een gebruiker wel als een adres mag mailen wordt gebruik gemaakt van de smtpd_sender_login_maps optie voor postfix, die in een database de users opzoekt die als gegeven adres mogen versturen. Als er via SMTP een request gedaan wordt om van buitenaf een mail te versturen doet postfix een query en kijkt welke users als die alias mail mogen versturen. Deze config is op de vm-mailpp te vinden in `/etc/postfix/alias_auth.cf`.

De database wordt gegenereerd door een python script die op de vm-sysop staat bij de sysop api, aangezien daar de mail aliases al staan voor de alias_check. Het python script, te vinden in `/var/www/html/api/python/mail-authorization.py`, loopt recursief langs alle users die in cies, bestuur, extern of iba zitten en kijkt daarnaast ook naar mail aliassen. Aan de hand hiervan wordt met een sql query alle transitieve relaties expliciet gemaakt, zodat dit niet runtime gedaan moet worden. Als een alias naar een cie wordt doorgestuurd, en een user weer in die cie zit, wil je dat die user ook als die alias mag mailen. Als database wordt PostgreSQL gebruikt op de vm-database. De database die gebruikt wordt heet "mail". In de python code staan nog wat comments. Er draait op de vm-sysop een cron die af en toe de database refreshed. Daarnaast is het python script ook intern bereikbaar [http://vm-sysop.a-eskwadraat.nl/api/python/mail-authorization.py hier]. Bij het laden van deze pagina wordt de database gerefreshed. Op deze manier kan de database meteen gerefreshed worden zodra iemand toegevoegd is aan een cie. Als er in een alias een wildcard staat (*@bapc.eu: bapc), wat betekend dat alles van het domein bapc.eu naar de bapc commissie wordt gestuurd, wordt dit omgezet naar een SQL wildcard, wat uiteindelijk dus netjes werkt.

Er is reeds voorgekomen dat de cache van mailpp niet verversd werd waardoor er geen permissions kwamen voor gebruikers.

Als gebruiker x mag mailen als y@a-eskwadraat.nl, dan komen in de database de entries (x, y@a-eskwadraat.nl), (x@a-eskwadraat.nl, y) en (x@a-eskwadraat.nl, y@a-eskwadraat.nl) te staan. Dit omdat dingen soms worden opgevraagd met domain en soms zonder.

=== Mailfiltering ===

Postfix maakt gebruik van amavisd voor het filteren van de inkomende mail. Amavis is een interface voor SpamAssassin welke spam filtert en ClamAV welke mails op virussen scant. Check de configuratie op [[Vm-saltmaster|vm-saltmaster]] voor details.

Om de virus database up te daten:
<pre>freshclam
</pre>

== Mailman ==

Mailman is verantwoordelijk voor de infrastructuur van de mailing lists. De mailing lists zijn te vinden op [lists.a-eskwadraat.nl/mailman lists.a-eskwadraat.nl/mailman]. Er zijn twee belangrijke services om mailman te draaien: mailman en httpd. De configuratie van mailman bevind zich in ''/etc/mailman/'', de data bevind zich in ''/var/lib/mailman'', en de binaries bevinden zich in ''/usr/lib/mailman''.

Gebruik de scripts in /usr/lib/mailman/bin om de mailing lists vanaf de command-line te wijzigen. De volgende commando's zijn belangrijk bij het debuggen / migreren van mailman:

*check_perms: repareert de bestandsrechten van mailman-specifieke bestanden.
*with_list & fix_url: repareert de links van de mailman archieven indien deze zijn veranderd.

Lees de [http://wiki.list.org/DOC/4.09%20Summary%20of%20the%20mailman%20bin%20commands MailmanWiki] voor een samenvatting van alle commands.

Mailman werkt samen met de Postfix mailserver via de alias map ''/etc/mailman/aliases''. Voer het volgende commando uit na het toevoegen/verwijderen van een lijst zodat Postfix zijn alias database update:
<pre>postalias /etc/mailman/aliases
</pre>

Na een migratie van de mailman lijsten is het belangrijk om ''restorecon'' uit te voeren op ''/var/lib/mailman''. Mailman en SELinux werken prima samen zolang de rechten maar goed staan.
<pre># Samenvatting van een Mailman migratie.
# Op de nieuwe mailserver.
rsync -azv -e "ssh -i <sshkey>" <OUDEHOST>:/var/lib/mailman/ /var/lib/mailman/
restorecon -r /var/lib/mailman/
cd /usr/lib/mailman/
bin/check_perms -f
bin/withlist -l -a -r fix_url
</pre>

== Dovecot ==

Dovecot is de IMAP server verantwoordelijk voor het ophalen en beheren van de mail opgeslagen in de homedirs. Mail wordt opgeslagen in de .Maildir van een gebruik zijn home directory. De server luistert op poort 143 (standaard IMAP poort) en vereist een TLS-encrypted verbinding van de gebruiker. Het certificaat voor de verbinding is anders dan het certificaat van de webserver.  Dovecot authenticeert gebruikers door middel van LDAP. Dovecot werkt ook als authenticatie-server voor postfix door middel van een open socket. Een SELinux module is vereist om Postfix toegang te geven tot de socket.

Voor meer configuratie details, zie de configuratie op de salt-master. (CentOS 6: /srv/salt/centos/vm-mail/dovecot, CentOS 7: /srv/salt/centos7/dovecot)

'''AL DE CONFIGURATIE HIERONDER IS GIGANTISCH OUT OF DATE''' \/\/\/

== Configuratie mailfilters ==

Gebruik je een ''.forward'' of ''.procmailrc'' om e-mail direct in mappen te stoppen, let dan op de naamgeving (zie hierboven) en zorg ervoor dat de mappen altijd op een ''/'' eindigen. Begin je ''.procmailrc'' ook altijd met de regel

MAILDIR=$HOME/Maildir/

om te zorgen dat e-mail toch niet in ''/var/mail'' terechtkomt.

== Maak een mailserver met exim, en dovecot ==

Zorg eerst dat sendmail uit staat!
<pre>service sendmail stop
chkconfig sendmail off
</pre>

Bij voorkeur verwijder je ook de package voor [[Postfix|postfix]]. Deze is standaard bij CentOS geïnstalleerd.

=== Exim ===

Exim is een MTA (Mail Transfer Agent) en is ervoor om mailtjes te versturen, ontvangen, en doorsturen. Dit gebeurd uiteraard op de mailserver!

Installeer allereerst exim op de host.
<pre># yum install exim
</pre>

Verander vervolgens het configuratie bestand /etc/exim/exim.conf:
<pre># Het Mail domain - normaal gesproken a-eskwadraat.nl
primary_hostname = circle.a-eskwadraat.nl

# Weiger met ipv6 te werken.
local_interfaces = 0.0.0.0
disable_ipv6 = true

daemon_smtp_ports = smtp : submission
accept_8bitmime = true

# Lijsten van geldige mail domainin.
domainlist mailman_domains = CONFDIR/domains.mailman
domainlist local_domains = @ : CONFDIR/domains.local : +mailman_domains : lsearch;CONFDIR/domains.virtual
domainlist relay_to_domains = CONFDIR/domains.relay

hostlist relay_from_hosts = 10.14.3.0/22

# Backup mail server in het geval dat onze niet werkt.
hostlist mx_hosts = mail.wolffelaar.nl

qualify_domain = A-Eskwadraat.nl

queue_run_max = 250

smtp_accept_max = 100
smtp_accept_max_per_host = ${if match_ip{$sender_host_address}{+mx_hosts}{50}{10}}

received_headers_max = 30

RETRY_SECONDARY=F,90d,15m
RETRY_REST=F,2h,15m; G,16h,2h,1.5; F,4d,8h

acl_smtp_rcpt = acl_check_rcpt
acl_not_smtp_start = acl_check_not_smtp
acl_smtp_data = acl_check_data

host_lookup = *
helo_try_verify_hosts = !@ : !@[]
helo_allow_chars = _

# ClamAV - The Anti-Virus Scanner
av_scanner = clamd:/var/run/clamav/clamd.sock

# Custom 5s limiet.
rfc1413_query_timeout = 5s

# Mailman support, als per /usr/share/doc/mailman/README.EXIM.gz
MAILMAN_HOME=/var/lib/mailman
MAILMAN_WRAP=/usr/lib/mailman/mail/mailman
MAILMAN_USER=mailman
MAILMAN_GROUP=mailman
</pre>

=== Dovecot ===

Dovecot is een IMAP en POP3 server, wat inhoud dat het mailtjes kan ontvangen, iets wat best wel handig is om te hebben. Installeer dovecot op je mailserver als je dat nog niet gedaan hebt. Verander dan nu het volgende:

In /etc/dovecot/dovecot.conf:

*protocols = imap
*login_trusted_networks = <ip-adressen die je vertrouwd>

In /etc/dovecot/conf.d/10-mail.conf

*mail_location = maildir:~/Maildir
*lock_method = dotlock

In /etc/dovecot/conf.d/10-auth.conf

*disable_plaintext_auth = no
*auth_realms = aeskwadraat
*auth_default_realm = aeskwadraat
*auth_gssapi_hostname = <ipa-server>
*auth_krb5_keytab = /etc/dovecot/krb5.keytab
*auth_mechanisms = plain gssapi

en zet op het einde
<pre>userdb {
driver = static
args = uid=dovecot gid=dovecot home=/var/spool/mail/%u
}
</pre>

Maak nu op de ipa-server een service imap aan met de mailserver als host. Dit kan je doen via de webinterface. Voer vervolgens het volgende uit op de mailserver:
<pre>kinit admin
ipa-getkeytab -s <ipa-server> -p imap/<mailserver> -k /etc/dovecot/krb5.keytab
chown root:dovecot /etc/dovecot/krb5.keytab
chmod 640 /etc/dovecot/krb5.keytab
</pre>

Restart dovecot en zet hem standaard aan:
<pre>service dovecot restart
chkconfig dovecot on
</pre>

Zet tenslotte nog met system-config-firewall-tui 'imap over ssl' en 'mail (smtp)' aan, en voila! Je kan nu met ipa-users gebruik maken van IMAP om mailtjes te ontvangen!

Je kan eventueel in /etc/postfix/main.cf en /etc/dovecot/conf.d/10-mail.conf nog het een ander van waar de mail wordt opgeslagen veranderen.

=== Spamassassin ===

Spamassassin is een mailfilteringprogramma voor spam. Om het te installeren:
<pre>yum install spamassassin
</pre>

Maak nu de user en group spamd aan:
<pre>groupadd -g 5001 spamd
useradd -u 5001 -g spamd -s /sbin/nologin -d /var/lib/spamassassin spamd
mkdir /var/lib/spamassassin
chown spamd:spamd /var/lib/spamassassin
</pre>

Zet dan het volgende in /etc/mail/spamassassin/local.cf:
<pre>required_score 5.0
report_safe 0
rewrite_header Subject [***SPAM***]

# Enable the Bayes system
use_bayes 1
use_bayes_rules 1
# Enable Bayes auto-learning
bayes_auto_learn 1
</pre>

Verander nu in /etc/postfix/master.cf
<pre>smtp inet n - n - - smtpd
</pre>

in
<pre>smtp inet n - n - - smtpd -o content_filter=spamassassin
</pre>

en stop op het einde van master.cf:
<pre>spamassassin unix - n n - - pipe flags=R user=spamd argv=/usr/bin/spamc -e /usr/sbin/sendmail -oi -f ${sender} ${recipient}
</pre>

Restart nu spamassassin en postfix:
<pre>chkconfig spamassassin on
service spamassassin restart
service postfix restart
</pre>

=== Aliases ===

In postfix staan de locaties van de aliases in /etc/postfix/main.cf. Deze kan je vinden bij de regel 'alias_maps = ...'. Als je een nieuw aliasbestand wilt toevoegen, voeg dit dan ook toe bij deze regel als hash:<bestandslocatie>. Vergeet ook niet om dit toe te voegen bij alias_database!.

De aliases zelf staan geconfigureerd in de aliasbestanden die te vinden zijn onder /etc/postfix/alias/. Als je een nieuwe alias in een bestand hebt gezet moet je het db-bestand up-to-date make door het commando 'postalias *bestand*' uitvoeren. Let erop dat de bestandsnaam de naam van het bestand is wat je gewijzigd hebt, niet een bestand met extensie '.db'.

Op het moment van schrijven hebben we 4 alias bestanden (bestuur, cies, mensjes en standaard). Als je een alias toevoegt of veranderd doe je dit in het bijbehorende alias bestand (bestuur gerelateerde aliassen in "bestuur", cies gerelateerde aliassen in "cies", etc.).

Als voorbeeld gaan we de alias sokken@a-eskwadraat aanmaken voor Michal en Rosanne. Dit is niet bestuur of cies gerelateerd dus zetten we deze alias in het bestand mensjes. Navigeer naar /etc/postfix/alias en open het bestand mensjes. Je begint met de alias gevolgd door een dubbele punt en dan A-eskwadraat gebruikersnaam(en) waarvoor de alias bedoeld is. In het geval van sokken@a-eskwadraat komt dat er dus als volgt uit te zien:

<pre>sokken: michalj, rosanne</pre>

Vervolgens moet deze wijziging nog in de database gezet worden dit gebeurt met:

<pre>postalias mensjes</pre>

Nu gaan de mailtjes die binnenkomen op sokken@a-eskwadraat naar Michal en Rosanne!

==== Lijst van alle forwards maken ====

===== Stap 1 =====

Maak een lijst die voor elke alias geeft waar het naar geforward wordt:

<pre>postalias -s [naam database bestand (zonder .db)]</pre>

Het onderstaande lijstje moeten we handmatig meenemen en is gebaseerd op de aliassen in het standaard.db bestand:

<pre>
abuse: postmaster
backup: root
hostmaster: root
irc: root
list: root
listmaster: root
logcheck: root
postmaster: sysop-postmaster, sysop
root: sysop
selinux: root
webmaster: webcie
www-data: webcie
mailer-daemon: postmaster
mailman-owner: listmaster
majordom: root
uucp: root
www-dmz: webmaster
</pre>

Let op: Er zijn ook een soort aliassen in de /etc/mailman/ map, waarschijnlijk bedoeld voor mailing lists.

Ook nog even kijken naar de aliasen in /etc/aliases.db

== Instellingen ==

=== Postfix ===

==== Mail relay ====

Postfix kan mail relayen naar een extern domein. Hiervoor is de volgende regel:
<pre>relay_domains = $mydestination, hash:/etc/postfix/domains.relay
</pre>

In het bestand /etc/postfix/domains.relay staat de lijst van alle externe domains waar mail naar toe gerelayed wordt. Als je iets in het bestand wijzigt, vergeet dan niet om daarna het commando
<pre>postmap /etc/postfix/domains.relay
</pre>

uit te voeren.

==== Whitelist ====

Postfix kan gebruik maken van een whitelist. Zorg hiervoor dat er het volgende in /etc/postfix/main.cf staat:
<pre>smtpd_client_restrictions = check_client_access hash:/etc/postfix/client.access
</pre>

In het bestand /etc/postfix/client.access staat de lijst van alle domains die geweigerd en toegelaten worden. Als je hier iets in verandert, vergeet dan niet om uit te voeren
<pre>postmap /etc/postfix/access.client
</pre>

== SquirrelMail ==

SquirrelMail is een webmail-client.

=== SquirrelMail installeren ===

Installeer eerst natuurlijk Squirrelmail:
<pre>yum install squirrelmail
</pre>

Zorg ervoor dat httpd standaard aan staat en start httpd:
<pre>chkconfig httpd on
service httpd start
</pre>

Verander nu het volgende in /etc/squirrelmail/config.php:
<pre>$org_name = "A-Eskwadraat";
$org_logo = SM_PATH . 'images/sm_logo.png';
$org_logo_width = '308';
$org_logo_height = '111';
$org_title = 'A-Eskwadraat SquirrelMail $version";
$signout_page = 'vm-mail.a-eskwadraat.nl';

$domain = 'circle.a-eskwadraat.nl';
$imapServerAddress = 'localhost';
$useSendmail = false;
$smtpServerAddress = 'localhost';
$pop_before_smtp = false;

</pre>

Zet nu het A-Eskwadraat logo in de squirrelmail config map.
<pre>setsebool -P httpd_can_network_connect 1
</pre>

== RoundcubeMail ==

Roundcube is ook een webmail client.

=== Installeren ===

Op vm-salt-master staat een configuratie voor een Roundcube mail VM met een korte readme. Deze zorgt ervoor dat httpd, roundcubemail en mariadb geinstalleerd staan. Salt een VM met deze configuratie.
<pre>salt '$hostname' state.highstate
</pre>

Laat vervolgens httpd van die VM door de firewall heen. Daarna moet de database voor Roundcube geinitialiseerd worden. Dit gaat met mysql.
<pre>CREATE DATABASE roundcubemail;
GRANT ALL PRIVILEGES on roundcubemail.* TO roundcube@localhost IDENTIFIED BY '$password';
FLUSH PRIVILEGES;
</pre>

Nu moet de timezone nog even ingesteld worden in /etc/php.ini op de roundcube VM. Daarna moeten er nog de juiste tables in de database worden gezet. Dit kan door op de nieuwe VM de bestanden in /etc/roundcubemail/databasefiles te runnen met mysql.
<pre>mysql roundcubemail < mysql.initial.sql
</pre>
[[Category:Sysop]]

Mail

2021-05-17T19:05:29Z

Samh:

Bij A–Eskwadraat gebruiken we '''Maildir''' voor de opslag van e-mail van gebruikers. We raden gebruikers aan om niet direct de Maildirmappen te benaderen, maar om dit via [http://en.wikipedia.org/wiki/Internet_Message_Access_Protocol IMAP] of [http://www.washington.edu/alpine/ Alpine] te doen. De standaardconfiguratie van de meeste mailclients staat hier ook voor ingesteld.
Je kunt je mail bekijken op mail.a-eskwadraat.nl.
== Services ==

Op [[Haskell|haskell]] draait de virtuele machine vm-mailpp (spreek uit: mail plus plus) om het mailverkeer van en naar A-Eskwadraat te regelen:

*[http://www.postfix.org/ postfix] (''/etc/postfix/'') verwerkt in principe alle binnenkomende mails, en wat er waarheen doorgestuurd moet worden;
*[http://www.dovecot.org/ dovecot] (''/etc/dovecot/'') neemt de POP- en IMAP-servers voor zijn rekening en verzorgt authenticatie voor het versturen van mails;
*[https://www.amavis.org/ amavis] (''/etc/amavisd/'') geeft alle binnenkomende mails door aan SpamAssassin en ClamAV om gefilterd te worden;
*[http://spamassassin.apache.org/ SpamAssassin] (''/etc/mail/spamassassin/'') [[Mailfiltering|filtert]] de spam uit het binnenkomende mailverkeer;
*[http://http://www.clamav.net/lang/en/ ClamAV] (''/etc/clamd.d/'') scant het mailverkeer voor virussen en dergelijke;
*[https://roundcube.net/ RoundCube] (''/etc/roundcubemail/'', ''/usr/share/roundcubemail'') is een webmailclient die in een [https://www.apache.org/ apache] webserver op vm-mailpp draait;
*[http://www.list.org/ Mailman] (''/etc/mailman/'') Mailman is verantwoordelijk voor de mailing lists, zoals de BBCie-announce.

== Naamgeving Maildirmappen ==

Let op dat om voor dovecot begrijpbare namen te hebben, de mappen op in ''~/Maildir'' altijd met een punt moeten beginnen. Submappen werken ook op deze manier. Een paar voorbeelden:

*''~/Maildir/.Intro/'' voor de IMAP-map ''Intro'';
*''~/Maildir/.Sysop.postmaster/'' voor de map ''postmaster'' als submap van ''Sysop''.

Als de mappen via IMAP worden aangemaakt gebeurt dit automatisch.

== Postfix ==

Postfix is de SMTP server voor de vm-mailpp.

Postfix gebruikt meerdere ports om mail te ontvangen en te verwerken. Mail die wordt gestuurd door leden moet naar de SMTP daemon op port 587 (''submission'' poort) worden gestuurd. Authenticatie en TLS encryptie zijn een vereiste op deze verbinding. In de toekomst zal de [[Router|Router]] de encryptie tussen client en mail-server regelen. Alle andere mail komt binnen op port 25. Spam- en virus-filtering gebeurd via de SMTP daemons op ports 10025 en 10027 voor onbekende en bekende mail, respectievelijk.

In ''/etc/postfix/master.cf'' staat de configuratie van deze daemons. De configuratie in ''/etc/postfix/main.cf'' wordt gebruikt voor zaken die niet in ''master.cf'' zijn opgegeven; in principe staat hier de configuratie voor poort 25 en worden de opties specifiek voor de andere poorten opgegeven in ''master.cf''.

Een bug/feature van postfix die slecht gedocumenteerd is, is als volgt: wanneer postfix langer dan 10 seconden duurt over het authentiseren van een email, wordt deze geweigerd met een verkeerde foutmelding: "535 5.7.8 Error: authentication failed: Connection lost to authentication server (SMTP AUTH failed with the remote server)".

=== Transport ===

Eerst checkt Postfix of de inkomende mail aan een lokaal mailadres is gestuurd. Welke domeinen als 'lokaal' worden bestempeld staat in ''/etc/postfix/domains/local''. Voor lokale mailadressen geldt, dat het domein in de verdere configuratie kan worden weggelaten. Daarna checkt Postfix of de inkomende mail naar een virtueel domein is gestuurd. Mailadressen van domeinen zoals turingslegacy.nl worden herschreven naar lokale mailadressen (zonder domeinnaam). De virtuele domeinen staan in ''/etc/postfix/domains/virtual''.

De overblijvende adressen, worden opgezocht in de bestanden met aliases in /etc/postfix/aliases, om te zien of de mail toevallig naar een ander lokaal mailadres doorgestuurd moet worden. Postfix gebruikt hiervoor de bestanden in .db formaat, de tekstbestanden zonder extensie zijn voor ons als sysop leesbaar en te bewerken maar moeten wel met ''postalias'' in een .db bestand omgezet worden naar iedere wijziging. (Let op voor bestanden die ingedeeld zijn zoals het bestand virtual onder domains moeten worden aangepast met het commando ''postmap <bestandsnaam>'') Als iemand dit vergeet na het aanpassen van een bestand met aliases, plaatst postfix een melding in ''/var/log/maillog'': "database file ''bestandsnaam''.db is older than source file ''bestandsnaam''". Nu blijven er als het goed is, alleen gebruikersnamen over die op het systeem bestaan. Voor deze gebruikers wordt het bestand ''.forward'' in de homedirectory van de gebruiker opgezocht.

Als in een ''.forward'' bestand de gebruikersnaam voorafgegaan door een backslash (\) wordt aangetroffen, wordt de mail in de Maildir map van die gebruiker geplaatst. Als een regel met een pipe (|) wordt aangetroffen, wordt het mailbericht doorgegeven als standard input aan het commando dat achter het |-teken staat. Andere regels met tekst worden geïnterpreteerd als mailadressen (lokaal zonder domeinnaam of willekeurig mailadres met domeinnaam) waarnaar de mail moet worden doorgestuurd. ''Let op bij het gebruiken van de pipe (|): het kan zijn dat SELinux niet toestaat dat postfix een ander programma direct aanroept.''

Als de mail niet bij een lokaal of virtueel adres hoort, checkt postfix of de inkomende mail is gestuurd naar een domein waarvoor A-Eskwadraat mail relayet. Deze mail word onveranderd naar de mailserver van dat domein verstuurd (relaying). Dit voorkomt verlies van mail voor het externe domein wanneer hun mailserver uitvalt, aangezien A-Eskwadraat de secondary mailserver is voor dat domein. Een uitzondering op de regel is mail bedoeld voor de webserver. Mail aan de webcie komt binnen op de mail server, maar moet worden doorgestuurd naar de webserver. De verwijzingen zijn te vinden in ''/etc/postfix/transport_www'' en ''/etc/postfix/transport_regex''.

Let op dat deze uitleg heel erg bot is. Lees de relevante ''man'' pages van Postfix om te leren hoe mail word verwerkt. Let op dat veranderingen in een alias/transport/domain map niet worden opgemerkt tot het ''postmap'' of ''postalias'' op het bestand is aangeroepen!

=== Mail Authorisatie ===

Om te controleren of een gebruiker wel als een adres mag mailen wordt gebruik gemaakt van de smtpd_sender_login_maps optie voor postfix, die in een database de users opzoekt die als gegeven adres mogen versturen. Als er via SMTP een request gedaan wordt om van buitenaf een mail te versturen doet postfix een query en kijkt welke users als die alias mail mogen versturen. Deze config is op de vm-mailpp te vinden in `/etc/postfix/alias_auth.cf`.

De database wordt gegenereerd door een python script die op de vm-sysop staat bij de sysop api, aangezien daar de mail aliases al staan voor de alias_check. Het python script, te vinden in `/var/www/html/api/python/mail-authorization.py`, loopt recursief langs alle users die in cies, bestuur, extern of iba zitten en kijkt daarnaast ook naar mail aliassen. Aan de hand hiervan wordt met een sql query alle transitieve relaties expliciet gemaakt, zodat dit niet runtime gedaan moet worden. Als een alias naar een cie wordt doorgestuurd, en een user weer in die cie zit, wil je dat die user ook als die alias mag mailen. Als database wordt PostgreSQL gebruikt op de vm-database. De database die gebruikt wordt heet "mail". In de python code staan nog wat comments. Er draait op de vm-sysop een cron die af en toe de database refreshed. Daarnaast is het python script ook intern bereikbaar [http://vm-sysop.a-eskwadraat.nl/api/python/mail-authorization.py hier]. Bij het laden van deze pagina wordt de database gerefreshed. Op deze manier kan de database meteen gerefreshed worden zodra iemand toegevoegd is aan een cie. Als er in een alias een wildcard staat (*@bapc.eu: bapc), wat betekend dat alles van het domein bapc.eu naar de bapc commissie wordt gestuurd, wordt dit omgezet naar een SQL wildcard, wat uiteindelijk dus netjes werkt.

Er is reeds voorgekomen dat de cache van mailpp niet verversd werd waardoor er geen permissions kwamen voor gebruikers.

Als gebruiker x mag mailen als y@a-eskwadraat.nl, dan komen in de database de entries (x, y@a-eskwadraat.nl), (x@a-eskwadraat.nl, y) en (x@a-eskwadraat.nl, y@a-eskwadraat.nl) te staan. Dit omdat dingen soms worden opgevraagd met domain en soms zonder.

=== Mailfiltering ===

Postfix maakt gebruik van amavisd voor het filteren van de inkomende mail. Amavis is een interface voor SpamAssassin welke spam filtert en ClamAV welke mails op virussen scant. Check de configuratie op [[Vm-saltmaster|vm-saltmaster]] voor details.

Om de virus database up te daten:
<pre>freshclam
</pre>

== Mailman ==

Mailman is verantwoordelijk voor de infrastructuur van de mailing lists. De mailing lists zijn te vinden op [lists.a-eskwadraat.nl/mailman lists.a-eskwadraat.nl/mailman]. Er zijn twee belangrijke services om mailman te draaien: mailman en httpd. De configuratie van mailman bevind zich in ''/etc/mailman/'', de data bevind zich in ''/var/lib/mailman'', en de binaries bevinden zich in ''/usr/lib/mailman''.

Gebruik de scripts in /usr/lib/mailman/bin om de mailing lists vanaf de command-line te wijzigen. De volgende commando's zijn belangrijk bij het debuggen / migreren van mailman:

*check_perms: repareert de bestandsrechten van mailman-specifieke bestanden.
*with_list & fix_url: repareert de links van de mailman archieven indien deze zijn veranderd.

Lees de [http://wiki.list.org/DOC/4.09%20Summary%20of%20the%20mailman%20bin%20commands MailmanWiki] voor een samenvatting van alle commands.

Mailman werkt samen met de Postfix mailserver via de alias map ''/etc/mailman/aliases''. Voer het volgende commando uit na het toevoegen/verwijderen van een lijst zodat Postfix zijn alias database update:
<pre>postalias /etc/mailman/aliases
</pre>

Na een migratie van de mailman lijsten is het belangrijk om ''restorecon'' uit te voeren op ''/var/lib/mailman''. Mailman en SELinux werken prima samen zolang de rechten maar goed staan.
<pre># Samenvatting van een Mailman migratie.
# Op de nieuwe mailserver.
rsync -azv -e "ssh -i <sshkey>" <OUDEHOST>:/var/lib/mailman/ /var/lib/mailman/
restorecon -r /var/lib/mailman/
cd /usr/lib/mailman/
bin/check_perms -f
bin/withlist -l -a -r fix_url
</pre>

== Dovecot ==

Dovecot is de IMAP server verantwoordelijk voor het ophalen en beheren van de mail opgeslagen in de homedirs. Mail wordt opgeslagen in de .Maildir van een gebruik zijn home directory. De server luistert op poort 143 (standaard IMAP poort) en vereist een TLS-encrypted verbinding van de gebruiker. Het certificaat voor de verbinding is anders dan het certificaat van de webserver.  Dovecot authenticeert gebruikers door middel van LDAP. Dovecot werkt ook als authenticatie-server voor postfix door middel van een open socket. Een SELinux module is vereist om Postfix toegang te geven tot de socket.

Voor meer configuratie details, zie de configuratie op de salt-master. (CentOS 6: /srv/salt/centos/vm-mail/dovecot, CentOS 7: /srv/salt/centos7/dovecot)

'''AL DE CONFIGURATIE HIERONDER IS GIGANTISCH OUT OF DATE''' \/\/\/

== Configuratie mailfilters ==

Gebruik je een ''.forward'' of ''.procmailrc'' om e-mail direct in mappen te stoppen, let dan op de naamgeving (zie hierboven) en zorg ervoor dat de mappen altijd op een ''/'' eindigen. Begin je ''.procmailrc'' ook altijd met de regel

MAILDIR=$HOME/Maildir/

om te zorgen dat e-mail toch niet in ''/var/mail'' terechtkomt.

== Maak een mailserver met exim, en dovecot ==

Zorg eerst dat sendmail uit staat!
<pre>service sendmail stop
chkconfig sendmail off
</pre>

Bij voorkeur verwijder je ook de package voor [[Postfix|postfix]]. Deze is standaard bij CentOS geïnstalleerd.

=== Exim ===

Exim is een MTA (Mail Transfer Agent) en is ervoor om mailtjes te versturen, ontvangen, en doorsturen. Dit gebeurd uiteraard op de mailserver!

Installeer allereerst exim op de host.
<pre># yum install exim
</pre>

Verander vervolgens het configuratie bestand /etc/exim/exim.conf:
<pre># Het Mail domain - normaal gesproken a-eskwadraat.nl
primary_hostname = circle.a-eskwadraat.nl

# Weiger met ipv6 te werken.
local_interfaces = 0.0.0.0
disable_ipv6 = true

daemon_smtp_ports = smtp : submission
accept_8bitmime = true

# Lijsten van geldige mail domainin.
domainlist mailman_domains = CONFDIR/domains.mailman
domainlist local_domains = @ : CONFDIR/domains.local : +mailman_domains : lsearch;CONFDIR/domains.virtual
domainlist relay_to_domains = CONFDIR/domains.relay

hostlist relay_from_hosts = 10.14.3.0/22

# Backup mail server in het geval dat onze niet werkt.
hostlist mx_hosts = mail.wolffelaar.nl

qualify_domain = A-Eskwadraat.nl

queue_run_max = 250

smtp_accept_max = 100
smtp_accept_max_per_host = ${if match_ip{$sender_host_address}{+mx_hosts}{50}{10}}

received_headers_max = 30

RETRY_SECONDARY=F,90d,15m
RETRY_REST=F,2h,15m; G,16h,2h,1.5; F,4d,8h

acl_smtp_rcpt = acl_check_rcpt
acl_not_smtp_start = acl_check_not_smtp
acl_smtp_data = acl_check_data

host_lookup = *
helo_try_verify_hosts = !@ : !@[]
helo_allow_chars = _

# ClamAV - The Anti-Virus Scanner
av_scanner = clamd:/var/run/clamav/clamd.sock

# Custom 5s limiet.
rfc1413_query_timeout = 5s

# Mailman support, als per /usr/share/doc/mailman/README.EXIM.gz
MAILMAN_HOME=/var/lib/mailman
MAILMAN_WRAP=/usr/lib/mailman/mail/mailman
MAILMAN_USER=mailman
MAILMAN_GROUP=mailman
</pre>

=== Dovecot ===

Dovecot is een IMAP en POP3 server, wat inhoud dat het mailtjes kan ontvangen, iets wat best wel handig is om te hebben. Installeer dovecot op je mailserver als je dat nog niet gedaan hebt. Verander dan nu het volgende:

In /etc/dovecot/dovecot.conf:

*protocols = imap
*login_trusted_networks = <ip-adressen die je vertrouwd>

In /etc/dovecot/conf.d/10-mail.conf

*mail_location = maildir:~/Maildir
*lock_method = dotlock

In /etc/dovecot/conf.d/10-auth.conf

*disable_plaintext_auth = no
*auth_realms = aeskwadraat
*auth_default_realm = aeskwadraat
*auth_gssapi_hostname = <ipa-server>
*auth_krb5_keytab = /etc/dovecot/krb5.keytab
*auth_mechanisms = plain gssapi

en zet op het einde
<pre>userdb {
driver = static
args = uid=dovecot gid=dovecot home=/var/spool/mail/%u
}
</pre>

Maak nu op de ipa-server een service imap aan met de mailserver als host. Dit kan je doen via de webinterface. Voer vervolgens het volgende uit op de mailserver:
<pre>kinit admin
ipa-getkeytab -s <ipa-server> -p imap/<mailserver> -k /etc/dovecot/krb5.keytab
chown root:dovecot /etc/dovecot/krb5.keytab
chmod 640 /etc/dovecot/krb5.keytab
</pre>

Restart dovecot en zet hem standaard aan:
<pre>service dovecot restart
chkconfig dovecot on
</pre>

Zet tenslotte nog met system-config-firewall-tui 'imap over ssl' en 'mail (smtp)' aan, en voila! Je kan nu met ipa-users gebruik maken van IMAP om mailtjes te ontvangen!

Je kan eventueel in /etc/postfix/main.cf en /etc/dovecot/conf.d/10-mail.conf nog het een ander van waar de mail wordt opgeslagen veranderen.

=== Spamassassin ===

Spamassassin is een mailfilteringprogramma voor spam. Om het te installeren:
<pre>yum install spamassassin
</pre>

Maak nu de user en group spamd aan:
<pre>groupadd -g 5001 spamd
useradd -u 5001 -g spamd -s /sbin/nologin -d /var/lib/spamassassin spamd
mkdir /var/lib/spamassassin
chown spamd:spamd /var/lib/spamassassin
</pre>

Zet dan het volgende in /etc/mail/spamassassin/local.cf:
<pre>required_score 5.0
report_safe 0
rewrite_header Subject [***SPAM***]

# Enable the Bayes system
use_bayes 1
use_bayes_rules 1
# Enable Bayes auto-learning
bayes_auto_learn 1
</pre>

Verander nu in /etc/postfix/master.cf
<pre>smtp inet n - n - - smtpd
</pre>

in
<pre>smtp inet n - n - - smtpd -o content_filter=spamassassin
</pre>

en stop op het einde van master.cf:
<pre>spamassassin unix - n n - - pipe flags=R user=spamd argv=/usr/bin/spamc -e /usr/sbin/sendmail -oi -f ${sender} ${recipient}
</pre>

Restart nu spamassassin en postfix:
<pre>chkconfig spamassassin on
service spamassassin restart
service postfix restart
</pre>

=== Aliases ===

In postfix staan de locaties van de aliases in /etc/postfix/main.cf. Deze kan je vinden bij de regel 'alias_maps = ...'. Als je een nieuw aliasbestand wilt toevoegen, voeg dit dan ook toe bij deze regel als hash:<bestandslocatie>. Vergeet ook niet om dit toe te voegen bij alias_database!.

De aliases zelf staan geconfigureerd in de aliasbestanden die te vinden zijn onder /etc/postfix/alias/. Als je een nieuwe alias in een bestand hebt gezet moet je het db-bestand up-to-date make door het commando 'postalias *bestand*' uitvoeren. Let erop dat de bestandsnaam de naam van het bestand is wat je gewijzigd hebt, niet een bestand met extensie '.db'.

Op het moment van schrijven hebben we 4 alias bestanden (bestuur, cies, mensjes en standaard). Als je een alias toevoegt of veranderd doe je dit in het bijbehorende alias bestand (bestuur gerelateerde aliassen in "bestuur", cies gerelateerde aliassen in "cies", etc.).

Als voorbeeld gaan we de alias sokken@a-eskwadraat aanmaken voor Michal en Rosanne. Dit is niet bestuur of cies gerelateerd dus zetten we deze alias in het bestand mensjes. Navigeer naar /etc/postfix/alias en open het bestand mensjes. Je begint met de alias gevolgd door een dubbele punt en dan A-eskwadraat gebruikersnaam(en) waarvoor de alias bedoeld is. In het geval van sokken@a-eskwadraat komt dat er dus als volgt uit te zien:

<pre>sokken: michalj, rosanne</pre>

Vervolgens moet deze wijziging nog in de database gezet worden dit gebeurt met:

<pre>postalias mensjes</pre>

Nu gaan de mailtjes die binnenkomen op sokken@a-eskwadraat naar Michal en Rosanne!

==== Lijst van alle forwards maken ====

===== Stap 1 =====

Maak een lijst die voor elke alias geeft waar het naar geforward wordt:

<pre>postalias -s [naam database bestand (zonder .db)]</pre>

Het onderstaande lijstje moeten we handmatig meenemen en is gebaseerd op de aliassen in het standaard.db bestand:

<pre>
abuse: postmaster
backup: root
hostmaster: root
irc: root
list: root
listmaster: root
logcheck: root
postmaster: sysop-postmaster, sysop
root: sysop
selinux: root
webmaster: webcie
www-data: webcie
mailer-daemon: postmaster
mailman-owner: listmaster
majordom: root
uucp: root
www-dmz: webmaster
</pre>

Let op: Er zijn ook een soort aliassen in de /etc/mailman/ map, waarschijnlijk bedoeld voor mailing lists.

Ook nog even kijken naar de aliasen in /etc/aliases.db

== Instellingen ==

=== Postfix ===

==== Mail relay ====

Postfix kan mail relayen naar een extern domein. Hiervoor is de volgende regel:
<pre>relay_domains = $mydestination, hash:/etc/postfix/domains.relay
</pre>

In het bestand /etc/postfix/domains.relay staat de lijst van alle externe domains waar mail naar toe gerelayed wordt. Als je iets in het bestand wijzigt, vergeet dan niet om daarna het commando
<pre>postmap /etc/postfix/domains.relay
</pre>

uit te voeren.

==== Whitelist ====

Postfix kan gebruik maken van een whitelist. Zorg hiervoor dat er het volgende in /etc/postfix/main.cf staat:
<pre>smtpd_client_restrictions = check_client_access hash:/etc/postfix/client.access
</pre>

In het bestand /etc/postfix/client.access staat de lijst van alle domains die geweigerd en toegelaten worden. Als je hier iets in verandert, vergeet dan niet om uit te voeren
<pre>postmap /etc/postfix/access.client
</pre>

== SquirrelMail ==

SquirrelMail is een webmail-client.

=== SquirrelMail installeren ===

Installeer eerst natuurlijk Squirrelmail:
<pre>yum install squirrelmail
</pre>

Zorg ervoor dat httpd standaard aan staat en start httpd:
<pre>chkconfig httpd on
service httpd start
</pre>

Verander nu het volgende in /etc/squirrelmail/config.php:
<pre>$org_name = "A-Eskwadraat";
$org_logo = SM_PATH . 'images/sm_logo.png';
$org_logo_width = '308';
$org_logo_height = '111';
$org_title = 'A-Eskwadraat SquirrelMail $version";
$signout_page = 'vm-mail.a-eskwadraat.nl';

$domain = 'circle.a-eskwadraat.nl';
$imapServerAddress = 'localhost';
$useSendmail = false;
$smtpServerAddress = 'localhost';
$pop_before_smtp = false;

</pre>

Zet nu het A-Eskwadraat logo in de squirrelmail config map.
<pre>setsebool -P httpd_can_network_connect 1
</pre>

== RoundcubeMail ==

Roundcube is ook een webmail client.

=== Installeren ===

Op vm-salt-master staat een configuratie voor een Roundcube mail VM met een korte readme. Deze zorgt ervoor dat httpd, roundcubemail en mariadb geinstalleerd staan. Salt een VM met deze configuratie.
<pre>salt '$hostname' state.highstate
</pre>

Laat vervolgens httpd van die VM door de firewall heen. Daarna moet de database voor Roundcube geinitialiseerd worden. Dit gaat met mysql.
<pre>CREATE DATABASE roundcubemail;
GRANT ALL PRIVILEGES on roundcubemail.* TO roundcube@localhost IDENTIFIED BY '$password';
FLUSH PRIVILEGES;
</pre>

Nu moet de timezone nog even ingesteld worden in /etc/php.ini op de roundcube VM. Daarna moeten er nog de juiste tables in de database worden gezet. Dit kan door op de nieuwe VM de bestanden in /etc/roundcubemail/databasefiles te runnen met mysql.
<pre>mysql roundcubemail < mysql.initial.sql
</pre>
[[Category:Sysop]]

Backup

2021-02-08T20:53:11Z

Samh:

Geregeld worden er '''backups''' gemaakt van een groot deel van het systeem. Hier vallen onder andere de home directories en virtuele machines onder. De WebCie heeft ook een grote hoeveelheid incrementele databasebackups.

== Interne backups ==

De interne backups zijn bedoeld om bestanden terug te kunnen halen die per ongeluk verwijderd zijn. Elke 4 uur, met middernacht als offset, wordt er een recursieve snapshot gemaakt van alle data. Deze 4 uurlijkse snapshots worden, op die van middernacht na, 2 dagen bewaard. De snapshots van middernacht worden standaard 2 weken bewaard, met enkele uitzonderingen zoals de home directories. Deze uitzonderingen plus hun retention tijd staan op haskell in `/etc/cron.daily/managesnapshot`.

Deze 4 uurlijkse backups worden direct gesynced naar de on-site backup in de vorm van Nikola.

Interne backups kunnen makkelijk teruggehaald worden. In het geval van een dataset is er in de root van deze dataset een onzichtbare map .zfs. In het geval van de home kan de staat van 20 november 2015 teruggevonden worden in `/srv/home/.zfs/snapshot/2015112000`. Dit kan alleen op haskell gedaan worden aangezien deze map niet bereikbaar is over NFS. Iets vergelijkbaars kan gedaan wordne met zvol's. Eerst moet echter de property snapdev op visible gezet worden in plaats van hidden en daarna zijn de snapshots van de zvols zichtbaar in `/dev`. Snapshots zijn read-only, dus als je een zvol probeert te mounten die dirty is, dan werkt dit niet als er ext4 op de zvol staat. Ext4 wil bij het recoveren namelijk schrijven, wat niet kan. In een dergelijke situatie kan het vaak handig zijn om een snapshot te klonen en dan te mounten. Met xfs is dit niet nodig.

== Off-site backups ==

We slaan de data ook off-site op bij de universiteit. Dit is een virtuele machine met de naam [[Claude|claude]]. Dit gebeurd vanaf Nikola(vroeger max), aangezien daar een 1:1 kopie staat van de data en op deze manier wordt haskell ontlast. De backups worden vanaf [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] gepulled vanaf Nikola en door Nikola eerst ge-gzipped en ge-encrypt, zodat de universiteit niet bij onze data kan. Naar [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] wordt elke eerste dag van de maand een complete kopie gedumped en voor de rest van de maand worden incrementele dumps gemaakt.

== Relevante scripts ==

De volgende scripts en crons die te maken hebben met backups zijn allemaal in gebruik.

*`/usr/local/bin/backupscript` op Haskell maakt elke 4 uur (door `/etc/cron.d/autobackup`) een snapshot en stuurt deze direct naar Nikola.
*`/etc/cron.daily/cleansnapshots` draait op zowel Nikola als Haskell en ruimt elke dag oude snapshots op. Deze file is identiek op beide machines, dus aanpassingen moeten gesynced worden.
*`/usr/local/bin/pullbackups` op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] pullt backups van Nikola en slaat deze op.
*`/usr/local/bin/cleanbackups`op [https://mediawiki.a-eskwadraat.nl/wiki/Claude claude] ruimt oude snapshots op als de ruimte (2TB) vol dreigt te raken. Vol is >90%. Dit is een cron die elke 5 minuten checkt. Mocht er iets fout gaan zoals dat er bij het opruimen niet tenminste 1 volledige backup altijd bewaard blijft, dan mailt deze dit. Het gebeurd nog wel eens dat de nfs share van de universiteit eruit knalt, en dan flipt dit script ook.

== WebCie: snapshots van de database ==

Op de vm-www maakt een script automatisch elke 10 minuten een dump van de database. Een diff met de vorige db-dump wordt opgeslagen in het archief (<code>haskell:/srv/www/archief</code>): vanaf de [[vm-www]] beschikbaar op <code>/archief/www/2018-08/07/whoswho4.2018-08-07_13_00.diff</code> bijvoorbeeld. Ook wordt elke dag een volledige db-dump opgeslagen. Elke maand worden de volledige dumps en alle diffs samen gecomprimeerd. De dumps kun je gebruiken om per ongeluk gewiste data weer terug te zetten.

=== Backup van binaire logs ===

Omdat het diffprogramma soms te lang deed over het backuppen omdat de diffs heeeeeeeeel lang werden, gaan we de binaire logs gebruiken voor backups.

Als je in de mysql-configuratie de optie log-bin aanzet, zal mysql alle updates aan de databases opschrijven in een logbestand. Dit kun je gebruiken voor [[replicatie]], of voor backups. Elke 10 minuten worden de logs geflusht en alle nieuwe bestanden gekopieerd naar het www-archief. Vervolgens worden de oude logbestanden weggegooid (zodat we niet de volledige geschiedenis steeds opnieuw overnemen). PAS OP: als je replicatie doet en een andere server is offline terwijl de logs worden weggegooid, kan die niet zomaar meer up-to-date komen! Zodra je weer replicatie wilt aanzetten (zoals [[Webcie-vm#Mariadb_en_replicatie|als je een nieuwe VM wilt maken]], moet je dus een goede oplossing hiervoor verzinnen. (Misschien: houd bij welke logbestanden al gekopieerd zijn en sla die over?)

* https://dev.mysql.com/doc/refman/8.0/en/backup-methods.html
* https://dev.mysql.com/doc/refman/8.0/en/binary-log.html
* https://dev.mysql.com/doc/refman/8.0/en/point-in-time-recovery.html

=== Encryptie van de backups ===

Alle WebCie backups worden nu encrypted opgeslagen. De public key die hier voor gebruikt wordt is de "A-Eskwadraat Backup Service <webcie@a-eskwadraat.nl>" key. Deze public key staat geregistreerd in de keychain van de apache user op de vm-www2. Daarnaast is de public key te vinden in [deze](https://gitlab.com/iba-aes/webcie/website/snippets/1835239) Gitlab snippet. De private key wordt bewaard door het bestuur en de WebCie voorzitter.

=== Decrypten van data ===

Is het nodig om de data te decrypten? Volg het volgende stappenplan.

* Vraag het bestuur/de WebCie voorzitter om de USB stick met de private key.
* Importeer de private key: `gpg --import <keynaam>`
* Decrypt de data: `gpg --output <outputfile> --decrypt <inputfile>`
* Verwijder de private key nadat je klaar bent: `gpg --delete-secret-key webcie@a-eskwadraat.nl`

[[Category:Sysop]]
[[Category:WebCie]]

Inwerking Sysop

2018-10-02T20:02:56Z

Samh:

== Inwerking ==
Welkom bij deel 2 van de inwerking! Als het goed is heb je deel 1, het algemene linux deel, al gedaan. Is dit niet het geval, dan kan je die [https://home.a-eskwadraat.nl/~sysop/inwerking/deel1.pdf hier] vinden.

== SSH ==

We maken bij de Sysop veel gebruik van SSH. Wil je hier meer over leren?[https://en.wikipedia.org/wiki/Secure_Shell Kijk dan hier]

=== Externe connecties ===

Externe SSH connecties komen bij a-eskwadraat binnen op [[Felix]]. Dit wordt vooral gebruikt door mensen die vanaf thuis op het systeem willen werken.

=== Interne connecties ===

Binnen het systeem zijn de meeste VM's en containers bereikbaar met SSH. Dit werkt als volgt:
<pre>
ssh root@<vmofcontainernaam>
</pre>
of
<pre>
ssh root@<ipadres>
</pre>

Voor de meeste Sysop VM's of CT's moet je gebruik maken van de sysop key. Dit moet dan als volgt:
<pre>
ssh root@<vmofcontainernaam> -i ~/.ssh/id_rsa_sysop
</pre>
Hiervoor moet je wel al de key hebben gekregen van een Sysopper.
De oude inwerking is te vinden op https://home.a-eskwadraat.nl/~sysop/inwerking/inwerking.pdf

== Multiseat ==
De workstations in de werkkamer maken gebruik van [[Multiseat]]s.Hiervoor gebruiken we loginctl.

Dit is niet de meest ideale oplossing en gaan daarom ook over op single seats, mocht er ooit een multiseat sterven.

=== Opdracht ===
Check wie er op dit moment zijn ingelogd door het volgende commando uit te voeren:
<pre>
loginctl
</pre>
Voer de volgende opdracht uit voor elke seat om te kijken welke devices verbonden zitten aan welke seat. (Als het erg verwarrend is probeer dan niet te beginnen bij seat0, maar probeer bijvoorbeeld seat1 of 2)
<pre>
loginctl seat-status <seat id>
</pre>
Je gaat nu proberen om twee toetsenborden om te wisselen. Voordat je hier aan begint, vraag aan de mensen om je heen of dit nu kan!

Het commando wat je hiervoor moet gebruiken is:
<pre>
loginctl attach <seat-id> <device ID>
</pre>

== Containers en VM's ==
Omdat we veel verschillende servers moeten draaien op maar een paar machines maken we gebruik van virtualisatie. Oude servers draaien op [https://en.wikipedia.org/wiki/Virtual_machine VM's], maar langzaam zijn we dingen aan het overzetten naar [https://linuxcontainers.org/ containers]

=== Proxmox ===
Op onze server draaien we [https://en.wikipedia.org/wiki/Proxmox_Virtual_Environment proxmox]. De meeste handelingen met proxmox doe je op de [https://stephen.a-eskwadraat.nl:8006 webinterface]. Hiering maak je bijvoorbeeld nieuwe containers of hou je de huidige servers in de gaten!
==== Opdracht ====

Vraag aan een Sysopper om je te helpen met het opzeten van een nieuwe container, je eigen "speeltuin" of zoo.

Als dit gebeurt is en je kan inloggen op je eigen zoo,maak dan de volgende [[Container opdrachten]]. (Als je veel linux ervaring heb kan je dit overslaan)
== IPA ==
Voor de authenticatie van gebruikers op het systeem, de mail en diverse andere toepassingen maken we gebruik van [[IPA]]. IPA is vrij ingewikkeld en daarom zullen we hier niet heel diep op ingaan.

Ook voor IPA is er een [http://ipa05.a-eskwadraat.nl webinterface].
To be COntondered.
[[Category:Sysop]]

Inwerking Sysop

2018-10-02T19:54:05Z

Samh:

Container opdrachten

2018-10-02T19:52:11Z

Samh: Samh moved page Opdrachten container to Container opdrachten

[[Category:Sysop]]

Opdrachten container

2018-10-02T19:52:11Z

Samh: Samh moved page Opdrachten container to Container opdrachten

#REDIRECT [[Container opdrachten]]

Container opdrachten

2018-10-02T19:51:29Z

Samh: Created page with " Category:Sysop"

[[Category:Sysop]]

Inwerking Sysop

2018-10-02T19:47:20Z

Samh:

== Inwerking ==
Welkom bij deel 2 van de inwerking! Als het goed is heb je deel 1, het algemene linux deel, al gedaan. Is dit niet het geval, dan kan je die [https://home.a-eskwadraat.nl/~sysop/inwerking/deel1.pdf hier] vinden.

== SSH ==

We maken bij de Sysop veel gebruik van SSH. Wil je hier meer over leren?[https://en.wikipedia.org/wiki/Secure_Shell Kijk dan hier]

=== Externe connecties ===

Externe SSH connecties komen bij a-eskwadraat binnen op [[Felix]]. Dit wordt vooral gebruikt door mensen die vanaf thuis op het systeem willen werken.

=== Interne connecties ===

Binnen het systeem zijn de meeste VM's en containers bereikbaar met SSH. Dit werkt als volgt:
<pre>
ssh root@<vmofcontainernaam>
</pre>
of
<pre>
ssh root@<ipadres>
</pre>

Voor de meeste Sysop VM's of CT's moet je gebruik maken van de sysop key. Dit moet dan als volgt:
<pre>
ssh root@<vmofcontainernaam> -i ~/.ssh/id_rsa_sysop
</pre>
Hiervoor moet je wel al de key hebben gekregen van een Sysopper.
De oude inwerking is te vinden op https://home.a-eskwadraat.nl/~sysop/inwerking/inwerking.pdf

== Multiseat ==
De workstations in de werkkamer maken gebruik van [[Multiseat]]s.Hiervoor gebruiken we loginctl.

Dit is niet de meest ideale oplossing en gaan daarom ook over op single seats, mocht er ooit een multiseat sterven.

=== Opdracht ===
Check wie er op dit moment zijn ingelogd door het volgende commando uit te voeren:
<pre>
loginctl
</pre>
Voer de volgende opdracht uit voor elke seat om te kijken welke devices verbonden zitten aan welke seat. (Als het erg verwarrend is probeer dan niet te beginnen bij seat0, maar probeer bijvoorbeeld seat1 of 2)
<pre>
loginctl seat-status <seat id>
</pre>
Je gaat nu proberen om twee toetsenborden om te wisselen. Voordat je hier aan begint, vraag aan de mensen om je heen of dit nu kan!

Het commando wat je hiervoor moet gebruiken is:
<pre>
loginctl attach <seat-id> <device ID>
</pre>

== Containers en VM's ==
Omdat we veel verschillende servers moeten draaien op maar een paar machines maken we gebruik van virtualisatie. Oude servers draaien op [https://en.wikipedia.org/wiki/Virtual_machine VM's], maar langzaam zijn we dingen aan het overzetten naar [https://linuxcontainers.org/ containers]

=== Proxmox ===
Op onze server draaien we [https://en.wikipedia.org/wiki/Proxmox_Virtual_Environment proxmox]. De meeste handelingen met proxmox doe je op de [https://stephen.a-eskwadraat.nl:8006 webinterface]. Hiering maak je bijvoorbeeld nieuwe containers of hou je de huidige servers in de gaten!
== IPA ==
Voor de authenticatie van gebruikers op het systeem, de mail en diverse andere toepassingen maken we gebruik van [[IPA]].
To be COntondered.
[[Category:Sysop]]

Inwerking Sysop

2018-10-02T19:39:00Z

Samh:

== Inwerking ==
Welkom bij deel 2 van de inwerking! Als het goed is heb je deel 1, het algemene linux deel, al gedaan. Is dit niet het geval, dan kan je die [https://home.a-eskwadraat.nl/~sysop/inwerking/deel1.pdf hier] vinden.

== SSH ==

We maken bij de Sysop veel gebruik van SSH. Wil je hier meer over leren?[https://en.wikipedia.org/wiki/Secure_Shell Kijk dan hier]

=== Externe connecties ===

Externe SSH connecties komen bij a-eskwadraat binnen op [[Felix]]. Dit wordt vooral gebruikt door mensen die vanaf thuis op het systeem willen werken.

=== Interne connecties ===

Binnen het systeem zijn de meeste VM's en containers bereikbaar met SSH. Dit werkt als volgt:
<pre>
ssh root@<vmofcontainernaam>
</pre>
of
<pre>
ssh root@<ipadres>
</pre>

Voor de meeste Sysop VM's of CT's moet je gebruik maken van de sysop key. Dit moet dan als volgt:
<pre>
ssh root@<vmofcontainernaam> -i ~/.ssh/id_rsa_sysop
</pre>
Hiervoor moet je wel al de key hebben gekregen van een Sysopper.
De oude inwerking is te vinden op https://home.a-eskwadraat.nl/~sysop/inwerking/inwerking.pdf

== Multiseat ==
De workstations in de werkkamer maken gebruik van [[Multiseat]]s.Hiervoor gebruiken we loginctl.

Dit is niet de meest ideale oplossing en gaan daarom ook over op single seats, mocht er ooit een multiseat sterven.

=== Opdracht ===
Check wie er op dit moment zijn ingelogd door het volgende commando uit te voeren:
<pre>
loginctl
</pre>
Voer de volgende opdracht uit voor elke seat om te kijken welke devices verbonden zitten aan welke seat. (Als het erg verwarrend is probeer dan niet te beginnen bij seat0, maar probeer bijvoorbeeld seat1 of 2)
<pre>
loginctl seat-status <seat id>
</pre>
Je gaat nu proberen om twee toetsenborden om te wisselen. Voordat je hier aan begint, vraag aan de mensen om je heen of dit nu kan!

Het commando wat je hiervoor moet gebruiken is:
<pre>
loginctl attach <seat-id> <device ID>
</pre>

== Containers en VM's ==
Omdat we veel verschillende servers moeten draaien op maar een paar machines maken we gebruik van virtualisatie. Oude servers draaien op [https://en.wikipedia.org/wiki/Virtual_machine VM's], maar langzaam zijn we dingen aan het overzetten naar [https://linuxcontainers.org/ containers]

== Proxmox ==
Op onze server draaien we [https://en.wikipedia.org/wiki/Proxmox_Virtual_Environment proxmox]. De meeste handelingen met proxmox doe je op de [https://stephen.a-eskwadraat.nl:8006 webinterface].
== IPA ==
Voor de authenticatie van gebruikers op het systeem, de mail en diverse andere toepassingen maken we gebruik van [[IPA]].
To be COntondered.
[[Category:Sysop]]

Inwerking Sysop

2018-10-02T19:31:51Z

Samh:

== Inwerking ==
Welkom bij deel 2 van de inwerking! Als het goed is heb je deel 1, het algemene linux deel, al gedaan. Is dit niet het geval, dan kan je die [https://home.a-eskwadraat.nl/~sysop/inwerking/deel1.pdf hier] vinden.

== SSH ==

We maken bij de Sysop veel gebruik van SSH. Wil je hier meer over leren?[https://en.wikipedia.org/wiki/Secure_Shell Kijk dan hier]

=== Externe connecties ===

Externe SSH connecties komen bij a-eskwadraat binnen op [[Felix]]. Dit wordt vooral gebruikt door mensen die vanaf thuis op het systeem willen werken.

=== Interne connecties ===

Binnen het systeem zijn de meeste VM's en containers bereikbaar met SSH. Dit werkt als volgt:
<pre>
ssh root@<vmofcontainernaam>
</pre>
of
<pre>
ssh root@<ipadres>
</pre>

Voor de meeste Sysop VM's of CT's moet je gebruik maken van de sysop key. Dit moet dan als volgt:
<pre>
ssh root@<vmofcontainernaam> -i ~/.ssh/id_rsa_sysop
</pre>
Hiervoor moet je wel al de key hebben gekregen van een Sysopper.
De oude inwerking is te vinden op https://home.a-eskwadraat.nl/~sysop/inwerking/inwerking.pdf

== Multiseat ==
De workstations in de werkkamer maken gebruik van [[Multiseat]]s.Hiervoor gebruiken we loginctl.

Dit is niet de meest ideale oplossing en gaan daarom ook over op single seats, mocht er ooit een multiseat sterven.

=== Opdracht ===
Check wie er op dit moment zijn ingelogd door het volgende commando uit te voeren:
<pre>
loginctl
</pre>
Voer de volgende opdracht uit voor elke seat om te kijken welke devices verbonden zitten aan welke seat. (Als het erg verwarrend is probeer dan niet te beginnen bij seat0, maar probeer bijvoorbeeld seat1 of 2)
<pre>
loginctl seat-status <seat id>
</pre>
Je gaat nu proberen om twee toetsenborden om te wisselen. Voordat je hier aan begint, vraag aan de mensen om je heen of dit nu kan!

Het commando wat je hiervoor moet gebruiken is:
<pre>
loginctl attach <seat-id> <device ID>
</pre>

== Containers en VM's ==
Omdat we veel verschillende servers moeten draaien op maar een paar machines maken we gebruik van virtualisatie. Oude servers draaien op [https://en.wikipedia.org/wiki/Virtual_machine VM's], maar langzaam zijn we dingen aan het overzetten naar [https://linuxcontainers.org/ containers]
== IPA ==
Voor de authenticatie van gebruikers op het systeem, de mail en diverse andere toepassingen maken we gebruik van [[IPA]].
To be COntondered.
[[Category:Sysop]]

Inwerking Sysop

2018-10-02T19:22:25Z

Samh:

Inwerking Sysop

2018-10-02T19:20:45Z

Samh:

Inwerking Sysop

2018-10-02T18:56:49Z

Samh:

Inwerking Sysop

2018-10-02T18:40:19Z

Samh:

IPA

2018-03-16T18:42:39Z

Samh:

FreeIPA is a Red Hat sponsored open source project which aims to provide an easily managed Identity, Policy and Audit (IPA) suite primarily targeted towards networks of Linux and Unix computers. FreeIPA can be compared to Novell's Identity Manager or Microsoft's Active Directory in that the goals and mechanisms used are similar.

FreeIPA currently uses 389 Directory Server for its LDAP implementation, MIT's Kerberos 5 for authentication and single sign-on, the Apache and Python for the management framework and Web UI, and (optionally) Dogtag for the integrated CA and BIND with a custom plugin for the integrated DNS. Development versions also use Samba to integrate with Microsoft's Active Directory by way of Cross Forest Trusts.

While each of the major components of FreeIPA is a pre-existing open source project it is the bundling of these components into a single manageable suite with a Comprehensive Management Interface that make FreeIPA more comparable to its proprietary software cousins, Identity Manager and Active Directory.

FreeIPA aims to provide support not just for Linux and Unix based computers but ultimately Microsoft Windows and Apple Macintosh computers also.

De webinterface van de IPA van A-Eskwadraat is te benaderen via [http://ipa01.a-eskwadraat.nl http://ipa01.a-eskwadraat.nl]. Hiervoor moet je wel op het netwerk van A-Eskwadraat zitten, dit is niet van buiten af te benaderen.

== Server installatie ==

Installeer <code>ipa-server</code> met alle dependencies. Zorg ervoor dat alle benodigde firewall-poorten open staan, na een schone kickstart hoeft enkel poort 7389 tcp nog geopend te worden. Vervolgens, om ipa-server te installeren ''zonder'' NTP-server:

ipa-server-install -N

Na de installatie moet de server nog een beveiligings-certificaat krijgen. Voer hiervoor het volgende commando uit:

ipa-getcert request -d /etc/pki/nssdb/ -n ipaserver-cert

Sudo gegevens zijn niet anoniem uit IPA te halen, daarom moet er voor de standaard user <code>sudo</code> een wachtwoord ingesteld worden (''zou kunnen dat dit niet meer nodig is''). Doe dit met

ldappasswd -Y GSSAPI uid=sudo,cn=sysaccounts,cn=etc,dc=a-eskwadraat,dc=nl -s sudopasswd

=== Firewall ===

IPA heeft een aantal poorten nodig om correct te werken:

{| class="wikitable" width="30%"
|-
| '''''Service'''''
| '''''Poort'''''
| '''''Type'''''
|-
| HTTP/HTTPS
| 80,443
| tcp
|-
| LDAP/LDAPS
| 389,636
| tcp
|-
| Kerberos
| 88,464
| tcp,udp
|-
| DNS
| 53
| tcp,udp
|-
| NTP
| 123
| udp
|}

== Client installatie ==

{{opmerking| Bij migratie naar een andere IPA-server moet <code>/etc/ipa</code> leeg zijn.}}

=== ipa-client-install ===

Installeer een IPA-client als volgt (uiteraard als root):

ipa-client-install

Er wordt tijdens de installatie gevraagd om een gebruikersnaam, gebruik daarvoor gewoon je eigen account.

'''''Reboot het systeem als de installatie voltooid is.'''''

=== sudo ===

Om sudoregels te gebruiken op systemen ouder dan CentOS 7, zie [[Sudo]].

=== httpd ===

Om in websites IPA te gebruiken is het nodig een PAM- en HBAC-service toe te voegen. Zie ook [[HBAC]].

== Schema ==

Aan het standaard schema van IPA is de objectClass 'aesAccount' met attribuut 'memberId'. Zie de volgende LDIF:

dn: cn=schema
changetype: modify
add: attributetypes
attributetypes:( 1.3.6.1.4.1.44413.1.1.1 NAME 'memberId' DESC 'MemberId of person'
EQUALITY integerMatch SYNTAX 1.3.6.1.4.1.1466.115.121.1.27 SINGLE-VALUE )
-
add: objectclasses
objectclasses: ( 1.3.6.1.4.1.44413.1.2.1 NAME 'aesAccount' SUP top AUXILIARY
DESC 'A-Eskwadraat account information' MAY ( memberId ) )

=== Lidnummer toevoegen ===

'mensjeadd' vraagt bij het aanmaken van een account om een lidnummer. Mocht er onverhoopt iets misgaan, met de onderstaande LDIF is het mogelijk om een lidnummer aan een account toe te voegen:

dn: uid=$login,cn=users,cn=accounts,dc=a-eskwadraat,dc=nl
changetype: modify
add: memberId
memberId: $lidnummer

== Replication ==

<s>Er zijn op dit moment drie IPA-servers met de volgende replication agreements:</s>

*<s>ipa01 <=> ipa02</s>
*<s>ipa01 <=> ipa03</s>
*<s>ipa02 <=> ipa03</s>
[[Category:Software]] [[Category:Sysop]]

== Gebruik ipa ==

Op de webinterface van IPA zijn alle eigenschappen van gebruikers en groepen te wijzigen onder het tabblad "Identity". Dit spreekt redelijk voor zich. Bij "Policy" zijn host-based access control en sudoregels in te stellen.

Sommige instellingen, bijvoorbeeld de home directory van een user, zijn als sysop-user niet aan te passen. Hiervoor moet je inloggen als admin. Dit doe je via de webinterface of via de terminal met het volgende command:

kinit admin

=== Host-based access control ===

Op alle clients waar ipa is geïnstalleerd, wordt bij het inloggen sssd gebruikt om te authenticeren. Deze controleert op de ipa server of de gebruiker op die machine mag inloggen. Het is gewone gebruikers bijvoorbeeld alleen toegestaan om in te loggen op workstations, niet op virtuele machines en een aantal daarvan zijn wel ipa client. Bij Policy > Host-based Access Control in de IPA webinterface zijn de regels in te stellen die bepalen wie waar mag inloggen. Een regel bevat: de gebruikers waarvoor deze van toepassing is, de computers waarop deze van toepassing is, en de services waarmee ingelogd kan worden. Bij alle drie is er een optie om alles/iedereen toe te staan.

=== Sudoregels ===

Sudoregels staan toe dat een gebruiker een commando uitvoert als iemand anders. Het geeft gebruikers de mogelijkheid om commando's namens hun commissies uit te voeren, of sysop om overal sudo te gebruiken om root te worden. Deze zijn in de webinterface in te stellen bij Policy > Sudo. Een regel bestaat uit: welke gebruiker(s), welke computer(s), welke commando(s) en als welke gebruiker(s). Verder kunnen er opties worden toegevoegd, deze zijn gelijk aan opties die gewoonlijk in sudoers ingesteld kunnen worden, zoals !authenticate die bepaalt dat er geen wachtwoord ingevoerd hoeft te worden voor die regel.

=== Wat te doen als ipa01 eruit ligt ===

Eerst ssh je naar ipa01 als root (met de sysop key). De directory service raakt corrupt en dan komt wordt het filesysteem read only (ro). Met het volgende command kan je controleren of het filesystem inderdaad read only is:
grep "\sro[\s,]" /proc/mounts

Als ext4 read only is dan staat het filesysteem van ipa01 in read only en moet je de vm opnieuw opstarten ("reboot now"). Wanneer de vm herstart is staat het filesysteem weer in read write (rw). De database van ipa is nog corrupt en daarom kunnen we ipa niet in een keer starten. Eerst moeten we de directory service los starten dit kan met het volgende commando:
/usr/sbin/start-dirsrv

Als dit zonder errors wordt afgerond moeten we de directory service weer stoppen, dit kan met het volgende commando:
/usr/sbin/stop-dirsrv

Nadat dit zonder errors is afgerond moeten we ipa starten. Dit doen we met het volgende commando:
ipactl start

Op het moment dat er errors zijn bij het opstarten van de directory service moet er helaas een backup worden teruggezet. Dit wordt gedaan door het volgende te doen:
*Hier moet nog komen hoe je een backup terugzet*

IPA

2018-03-16T18:42:06Z

Samh:

FreeIPA is a Red Hat sponsored open source project which aims to provide an easily managed Identity, Policy and Audit (IPA) suite primarily targeted towards networks of Linux and Unix computers. FreeIPA can be compared to Novell's Identity Manager or Microsoft's Active Directory in that the goals and mechanisms used are similar.

FreeIPA currently uses 389 Directory Server for its LDAP implementation, MIT's Kerberos 5 for authentication and single sign-on, the Apache and Python for the management framework and Web UI, and (optionally) Dogtag for the integrated CA and BIND with a custom plugin for the integrated DNS. Development versions also use Samba to integrate with Microsoft's Active Directory by way of Cross Forest Trusts.

While each of the major components of FreeIPA is a pre-existing open source project it is the bundling of these components into a single manageable suite with a Comprehensive Management Interface that make FreeIPA more comparable to its proprietary software cousins, Identity Manager and Active Directory.

FreeIPA aims to provide support not just for Linux and Unix based computers but ultimately Microsoft Windows and Apple Macintosh computers also.

De webinterface van de IPA van A-Eskwadraat is te benaderen via [http://ipa01.a-eskwadraat.nl http://ipa01.a-eskwadraat.nl]. Hiervoor moet je wel op het netwerk van A-Eskwadraat zitten, dit is niet van buiten af te benaderen.

== Server installatie ==

Installeer <code>ipa-server</code> met alle dependencies. Zorg ervoor dat alle benodigde firewall-poorten open staan, na een schone kickstart hoeft enkel poort 7389 tcp nog geopend te worden. Vervolgens, om ipa-server te installeren ''zonder'' NTP-server:

ipa-server-install -N

Na de installatie moet de server nog een beveiligings-certificaat krijgen. Voer hiervoor het volgende commando uit:

ipa-getcert request -d /etc/pki/nssdb/ -n ipaserver-cert

Sudo gegevens zijn niet anoniem uit IPA te halen, daarom moet er voor de standaard user <code>sudo</code> een wachtwoord ingesteld worden (''zou kunnen dat dit niet meer nodig is''). Doe dit met

ldappasswd -Y GSSAPI uid=sudo,cn=sysaccounts,cn=etc,dc=a-eskwadraat,dc=nl -s sudopasswd

=== Firewall ===

IPA heeft een aantal poorten nodig om correct te werken:

{| class="wikitable" width="30%"
|-
| '''''Service'''''
| '''''Poort'''''
| '''''Type'''''
|-
| HTTP/HTTPS
| 80,443
| tcp
|-
| LDAP/LDAPS
| 389,636
| tcp
|-
| Kerberos
| 88,464
| tcp,udp
|-
| DNS
| 53
| tcp,udp
|-
| NTP
| 123
| udp
|}

== Client installatie ==

{{opmerking| Bij migratie naar een andere IPA-server moet <code>/etc/ipa</code> leeg zijn.}}

=== ipa-client-install ===

Installeer een IPA-client als volgt (uiteraard als root):

ipa-client-install

Er wordt tijdens de installatie gevraagd om een gebruikersnaam, gebruik daarvoor gewoon je eigen account.

'''''Reboot het systeem als de installatie voltooid is.'''''

=== sudo ===

Om sudoregels te gebruiken op systemen ouder dan CentOS 7, zie [[Sudo]].

=== httpd ===

Om in websites IPA te gebruiken is het nodig een PAM- en HBAC-service toe te voegen. Zie ook [[HBAC]].

== Schema ==

Aan het standaard schema van IPA is de objectClass 'aesAccount' met attribuut 'memberId'. Zie de volgende LDIF:

dn: cn=schema
changetype: modify
add: attributetypes
attributetypes:( 1.3.6.1.4.1.44413.1.1.1 NAME 'memberId' DESC 'MemberId of person'
EQUALITY integerMatch SYNTAX 1.3.6.1.4.1.1466.115.121.1.27 SINGLE-VALUE )
-
add: objectclasses
objectclasses: ( 1.3.6.1.4.1.44413.1.2.1 NAME 'aesAccount' SUP top AUXILIARY
DESC 'A-Eskwadraat account information' MAY ( memberId ) )

=== Lidnummer toevoegen ===

'mensjeadd' vraagt bij het aanmaken van een account om een lidnummer. Mocht er onverhoopt iets misgaan, met de onderstaande LDIF is het mogelijk om een lidnummer aan een account toe te voegen:

dn: uid=$login,cn=users,cn=accounts,dc=a-eskwadraat,dc=nl
changetype: modify
add: memberId
memberId: $lidnummer

== Replication ==

<s>Er zijn op dit moment drie IPA-servers met de volgende replication agreements:</s>

*<s>ipa01 <=> ipa02</s>
*<s>ipa01 <=> ipa03</s>
*<s>ipa02 <=> ipa03</s>
[[Category:Software]] [[Category:Sysop]]

== Gebruik ipa ==

Op de webinterface van IPA zijn alle eigenschappen van gebruikers en groepen te wijzigen onder het tabblad "Identity". Dit spreekt redelijk voor zich. Bij "Policy" zijn host-based access control en sudoregels in te stellen.

Sommige instellingen, bijvoorbeeld de home directory van een user, zijn als sysop-user niet aan te passen. Hiervoor moet je inloggen als admin. Dit doe je via de webinterface of via de terminal met het volgende command:
kinit admin

=== Host-based access control ===

Op alle clients waar ipa is geïnstalleerd, wordt bij het inloggen sssd gebruikt om te authenticeren. Deze controleert op de ipa server of de gebruiker op die machine mag inloggen. Het is gewone gebruikers bijvoorbeeld alleen toegestaan om in te loggen op workstations, niet op virtuele machines en een aantal daarvan zijn wel ipa client. Bij Policy > Host-based Access Control in de IPA webinterface zijn de regels in te stellen die bepalen wie waar mag inloggen. Een regel bevat: de gebruikers waarvoor deze van toepassing is, de computers waarop deze van toepassing is, en de services waarmee ingelogd kan worden. Bij alle drie is er een optie om alles/iedereen toe te staan.

=== Sudoregels ===

Sudoregels staan toe dat een gebruiker een commando uitvoert als iemand anders. Het geeft gebruikers de mogelijkheid om commando's namens hun commissies uit te voeren, of sysop om overal sudo te gebruiken om root te worden. Deze zijn in de webinterface in te stellen bij Policy > Sudo. Een regel bestaat uit: welke gebruiker(s), welke computer(s), welke commando(s) en als welke gebruiker(s). Verder kunnen er opties worden toegevoegd, deze zijn gelijk aan opties die gewoonlijk in sudoers ingesteld kunnen worden, zoals !authenticate die bepaalt dat er geen wachtwoord ingevoerd hoeft te worden voor die regel.

=== Wat te doen als ipa01 eruit ligt ===

Eerst ssh je naar ipa01 als root (met de sysop key). De directory service raakt corrupt en dan komt wordt het filesysteem read only (ro). Met het volgende command kan je controleren of het filesystem inderdaad read only is:
grep "\sro[\s,]" /proc/mounts

Als ext4 read only is dan staat het filesysteem van ipa01 in read only en moet je de vm opnieuw opstarten ("reboot now"). Wanneer de vm herstart is staat het filesysteem weer in read write (rw). De database van ipa is nog corrupt en daarom kunnen we ipa niet in een keer starten. Eerst moeten we de directory service los starten dit kan met het volgende commando:
/usr/sbin/start-dirsrv

Als dit zonder errors wordt afgerond moeten we de directory service weer stoppen, dit kan met het volgende commando:
/usr/sbin/stop-dirsrv

Nadat dit zonder errors is afgerond moeten we ipa starten. Dit doen we met het volgende commando:
ipactl start

Op het moment dat er errors zijn bij het opstarten van de directory service moet er helaas een backup worden teruggezet. Dit wordt gedaan door het volgende te doen:
*Hier moet nog komen hoe je een backup terugzet*

IPA

2018-03-12T11:41:13Z

Samh:

FreeIPA is a Red Hat sponsored open source project which aims to provide an easily managed Identity, Policy and Audit (IPA) suite primarily targeted towards networks of Linux and Unix computers. FreeIPA can be compared to Novell's Identity Manager or Microsoft's Active Directory in that the goals and mechanisms used are similar.

FreeIPA currently uses 389 Directory Server for its LDAP implementation, MIT's Kerberos 5 for authentication and single sign-on, the Apache and Python for the management framework and Web UI, and (optionally) Dogtag for the integrated CA and BIND with a custom plugin for the integrated DNS. Development versions also use Samba to integrate with Microsoft's Active Directory by way of Cross Forest Trusts.

While each of the major components of FreeIPA is a pre-existing open source project it is the bundling of these components into a single manageable suite with a Comprehensive Management Interface that make FreeIPA more comparable to its proprietary software cousins, Identity Manager and Active Directory.

FreeIPA aims to provide support not just for Linux and Unix based computers but ultimately Microsoft Windows and Apple Macintosh computers also.

De webinterface van de IPA van A-Eskwadraat is te benaderen via [http://ipa01.a-eskwadraat.nl http://ipa01.a-eskwadraat.nl]. Hiervoor moet je wel op het netwerk van A-Eskwadraat zitten, dit is niet van buiten af te benaderen.

== Server installatie ==

Installeer <code>ipa-server</code> met alle dependencies. Zorg ervoor dat alle benodigde firewall-poorten open staan, na een schone kickstart hoeft enkel poort 7389 tcp nog geopend te worden. Vervolgens, om ipa-server te installeren ''zonder'' NTP-server:

ipa-server-install -N

Na de installatie moet de server nog een beveiligings-certificaat krijgen. Voer hiervoor het volgende commando uit:

ipa-getcert request -d /etc/pki/nssdb/ -n ipaserver-cert

Sudo gegevens zijn niet anoniem uit IPA te halen, daarom moet er voor de standaard user <code>sudo</code> een wachtwoord ingesteld worden (''zou kunnen dat dit niet meer nodig is''). Doe dit met

ldappasswd -Y GSSAPI uid=sudo,cn=sysaccounts,cn=etc,dc=a-eskwadraat,dc=nl -s sudopasswd

=== Firewall ===

IPA heeft een aantal poorten nodig om correct te werken:

{| class="wikitable" width="30%"
|-
| '''''Service'''''
| '''''Poort'''''
| '''''Type'''''
|-
| HTTP/HTTPS
| 80,443
| tcp
|-
| LDAP/LDAPS
| 389,636
| tcp
|-
| Kerberos
| 88,464
| tcp,udp
|-
| DNS
| 53
| tcp,udp
|-
| NTP
| 123
| udp
|}

== Client installatie ==

{{opmerking| Bij migratie naar een andere IPA-server moet <code>/etc/ipa</code> leeg zijn.}}

=== ipa-client-install ===

Installeer een IPA-client als volgt (uiteraard als root):

ipa-client-install

Er wordt tijdens de installatie gevraagd om een gebruikersnaam, gebruik daarvoor gewoon je eigen account.

'''''Reboot het systeem als de installatie voltooid is.'''''

=== sudo ===

Om sudoregels te gebruiken op systemen ouder dan CentOS 7, zie [[Sudo]].

=== httpd ===

Om in websites IPA te gebruiken is het nodig een PAM- en HBAC-service toe te voegen. Zie ook [[HBAC]].

== Schema ==

Aan het standaard schema van IPA is de objectClass 'aesAccount' met attribuut 'memberId'. Zie de volgende LDIF:

dn: cn=schema
changetype: modify
add: attributetypes
attributetypes:( 1.3.6.1.4.1.44413.1.1.1 NAME 'memberId' DESC 'MemberId of person'
EQUALITY integerMatch SYNTAX 1.3.6.1.4.1.1466.115.121.1.27 SINGLE-VALUE )
-
add: objectclasses
objectclasses: ( 1.3.6.1.4.1.44413.1.2.1 NAME 'aesAccount' SUP top AUXILIARY
DESC 'A-Eskwadraat account information' MAY ( memberId ) )

=== Lidnummer toevoegen ===

'mensjeadd' vraagt bij het aanmaken van een account om een lidnummer. Mocht er onverhoopt iets misgaan, met de onderstaande LDIF is het mogelijk om een lidnummer aan een account toe te voegen:

dn: uid=$login,cn=users,cn=accounts,dc=a-eskwadraat,dc=nl
changetype: modify
add: memberId
memberId: $lidnummer

== Replication ==

<s>Er zijn op dit moment drie IPA-servers met de volgende replication agreements:</s>

*<s>ipa01 <=> ipa02</s>
*<s>ipa01 <=> ipa03</s>
*<s>ipa02 <=> ipa03</s>
[[Category:Software]] [[Category:Sysop]]

== Gebruik ipa ==

Op de webinterface van IPA zijn alle eigenschappen van gebruikers en groepen te wijzigen onder het tabblad "Identity". Dit spreekt redelijk voor zich. Bij "Policy" zijn host-based access control en sudoregels in te stellen.

Sommige instellingen, bijvoorbeeld de home directory van een user, zijn als sysop-user niet aan te passen. Hiervoor moet je inloggen als admin.

=== Host-based access control ===

Op alle clients waar ipa is geïnstalleerd, wordt bij het inloggen sssd gebruikt om te authenticeren. Deze controleert op de ipa server of de gebruiker op die machine mag inloggen. Het is gewone gebruikers bijvoorbeeld alleen toegestaan om in te loggen op workstations, niet op virtuele machines en een aantal daarvan zijn wel ipa client. Bij Policy > Host-based Access Control in de IPA webinterface zijn de regels in te stellen die bepalen wie waar mag inloggen. Een regel bevat: de gebruikers waarvoor deze van toepassing is, de computers waarop deze van toepassing is, en de services waarmee ingelogd kan worden. Bij alle drie is er een optie om alles/iedereen toe te staan.

=== Sudoregels ===

Sudoregels staan toe dat een gebruiker een commando uitvoert als iemand anders. Het geeft gebruikers de mogelijkheid om commando's namens hun commissies uit te voeren, of sysop om overal sudo te gebruiken om root te worden. Deze zijn in de webinterface in te stellen bij Policy > Sudo. Een regel bestaat uit: welke gebruiker(s), welke computer(s), welke commando(s) en als welke gebruiker(s). Verder kunnen er opties worden toegevoegd, deze zijn gelijk aan opties die gewoonlijk in sudoers ingesteld kunnen worden, zoals !authenticate die bepaalt dat er geen wachtwoord ingevoerd hoeft te worden voor die regel.

=== Wat te doen als ipa01 eruit ligt ===

Eerst ssh je naar ipa01 als root (met de sysop key). De directory service raakt corrupt en dan komt wordt het filesysteem read only (ro). Met het volgende command kan je controleren of het filesystem inderdaad read only is:
grep "\sro[\s,]" /proc/mounts

Als ext4 read only is dan staat het filesysteem van ipa01 in read only en moet je de vm opnieuw opstarten ("reboot now"). Wanneer de vm herstart is staat het filesysteem weer in read write (rw). De database van ipa is nog corrupt en daarom kunnen we ipa niet in een keer starten. Eerst moeten we de directory service los starten dit kan met het volgende commando:
/usr/sbin/start-dirsrv

Als dit zonder errors wordt afgerond moeten we de directory service weer stoppen, dit kan met het volgende commando:
/usr/sbin/stop-dirsrv

Nadat dit zonder errors is afgerond moeten we ipa starten. Dit doen we met het volgende commando:
ipactl start

Op het moment dat er errors zijn bij het opstarten van de directory service moet er helaas een backup worden teruggezet. Dit wordt gedaan door het volgende te doen:
*Hier moet nog komen hoe je een backup terugzet*

IPA

2018-02-26T18:37:11Z

Samh:

FreeIPA is a Red Hat sponsored open source project which aims to provide an easily managed Identity, Policy and Audit (IPA) suite primarily targeted towards networks of Linux and Unix computers. FreeIPA can be compared to Novell's Identity Manager or Microsoft's Active Directory in that the goals and mechanisms used are similar.

FreeIPA currently uses 389 Directory Server for its LDAP implementation, MIT's Kerberos 5 for authentication and single sign-on, the Apache and Python for the management framework and Web UI, and (optionally) Dogtag for the integrated CA and BIND with a custom plugin for the integrated DNS. Development versions also use Samba to integrate with Microsoft's Active Directory by way of Cross Forest Trusts.

While each of the major components of FreeIPA is a pre-existing open source project it is the bundling of these components into a single manageable suite with a Comprehensive Management Interface that make FreeIPA more comparable to its proprietary software cousins, Identity Manager and Active Directory.

FreeIPA aims to provide support not just for Linux and Unix based computers but ultimately Microsoft Windows and Apple Macintosh computers also.

De webinterface van de IPA van A-Eskwadraat is te benaderen via [http://ipa01.a-eskwadraat.nl http://ipa01.a-eskwadraat.nl]. Hiervoor moet je wel op het netwerk van A-Eskwadraat zitten, dit is niet van buiten af te benaderen.

== Server installatie ==

Installeer <code>ipa-server</code> met alle dependencies. Zorg ervoor dat alle benodigde firewall-poorten open staan, na een schone kickstart hoeft enkel poort 7389 tcp nog geopend te worden. Vervolgens, om ipa-server te installeren ''zonder'' NTP-server:

ipa-server-install -N

Na de installatie moet de server nog een beveiligings-certificaat krijgen. Voer hiervoor het volgende commando uit:

ipa-getcert request -d /etc/pki/nssdb/ -n ipaserver-cert

Sudo gegevens zijn niet anoniem uit IPA te halen, daarom moet er voor de standaard user <code>sudo</code> een wachtwoord ingesteld worden (''zou kunnen dat dit niet meer nodig is''). Doe dit met

ldappasswd -Y GSSAPI uid=sudo,cn=sysaccounts,cn=etc,dc=a-eskwadraat,dc=nl -s sudopasswd

=== Firewall ===

IPA heeft een aantal poorten nodig om correct te werken:

{| class="wikitable" width="30%"
|-
| '''''Service'''''
| '''''Poort'''''
| '''''Type'''''
|-
| HTTP/HTTPS
| 80,443
| tcp
|-
| LDAP/LDAPS
| 389,636
| tcp
|-
| Kerberos
| 88,464
| tcp,udp
|-
| DNS
| 53
| tcp,udp
|-
| NTP
| 123
| udp
|}

== Client installatie ==

{{opmerking| Bij migratie naar een andere IPA-server moet <code>/etc/ipa</code> leeg zijn.}}

=== ipa-client-install ===

Installeer een IPA-client als volgt (uiteraard als root):

ipa-client-install

Er wordt tijdens de installatie gevraagd om een gebruikersnaam, gebruik daarvoor gewoon je eigen account.

'''''Reboot het systeem als de installatie voltooid is.'''''

=== sudo ===

Om sudoregels te gebruiken op systemen ouder dan CentOS 7, zie [[Sudo]].

=== httpd ===

Om in websites IPA te gebruiken is het nodig een PAM- en HBAC-service toe te voegen. Zie ook [[HBAC]].

== Schema ==

Aan het standaard schema van IPA is de objectClass 'aesAccount' met attribuut 'memberId'. Zie de volgende LDIF:

dn: cn=schema
changetype: modify
add: attributetypes
attributetypes:( 1.3.6.1.4.1.44413.1.1.1 NAME 'memberId' DESC 'MemberId of person'
EQUALITY integerMatch SYNTAX 1.3.6.1.4.1.1466.115.121.1.27 SINGLE-VALUE )
-
add: objectclasses
objectclasses: ( 1.3.6.1.4.1.44413.1.2.1 NAME 'aesAccount' SUP top AUXILIARY
DESC 'A-Eskwadraat account information' MAY ( memberId ) )

=== Lidnummer toevoegen ===

'mensjeadd' vraagt bij het aanmaken van een account om een lidnummer. Mocht er onverhoopt iets misgaan, met de onderstaande LDIF is het mogelijk om een lidnummer aan een account toe te voegen:

dn: uid=$login,cn=users,cn=accounts,dc=a-eskwadraat,dc=nl
changetype: modify
add: memberId
memberId: $lidnummer

== Replication ==

<s>Er zijn op dit moment drie IPA-servers met de volgende replication agreements:</s>

*<s>ipa01 <=> ipa02</s>
*<s>ipa01 <=> ipa03</s>
*<s>ipa02 <=> ipa03</s>
[[Category:Software]] [[Category:Sysop]]

== Gebruik ipa ==

Op de webinterface van IPA zijn alle eigenschappen van gebruikers en groepen te wijzigen onder het tabblad "Identity". Dit spreekt redelijk voor zich. Bij "Policy" zijn host-based access control en sudoregels in te stellen.

Sommige instellingen, bijvoorbeeld de home directory van een user, zijn als sysop-user niet aan te passen. Hiervoor moet je inloggen als admin.

=== Host-based access control ===

Op alle clients waar ipa is geïnstalleerd, wordt bij het inloggen sssd gebruikt om te authenticeren. Deze controleert op de ipa server of de gebruiker op die machine mag inloggen. Het is gewone gebruikers bijvoorbeeld alleen toegestaan om in te loggen op workstations, niet op virtuele machines en een aantal daarvan zijn wel ipa client. Bij Policy > Host-based Access Control in de IPA webinterface zijn de regels in te stellen die bepalen wie waar mag inloggen. Een regel bevat: de gebruikers waarvoor deze van toepassing is, de computers waarop deze van toepassing is, en de services waarmee ingelogd kan worden. Bij alle drie is er een optie om alles/iedereen toe te staan.

=== Sudoregels ===

Sudoregels staan toe dat een gebruiker een commando uitvoert als iemand anders. Het geeft gebruikers de mogelijkheid om commando's namens hun commissies uit te voeren, of sysop om overal sudo te gebruiken om root te worden. Deze zijn in de webinterface in te stellen bij Policy > Sudo. Een regel bestaat uit: welke gebruiker(s), welke computer(s), welke commando(s) en als welke gebruiker(s). Verder kunnen er opties worden toegevoegd, deze zijn gelijk aan opties die gewoonlijk in sudoers ingesteld kunnen worden, zoals !authenticate die bepaalt dat er geen wachtwoord ingevoerd hoeft te worden voor die regel.

=== Wat te doen als ipa01 eruit ligt ===

Eerst log je in als root op ipa01 (met de sysop key). De directory service raakt corrupt en dan komt wordt het filesystem read only. Met het volgende command kan je controleren of het filesystem inderdaad read only is:
grep "\sro[\s,]" /proc/mounts

IPA

2018-02-26T18:36:41Z

Samh:

FreeIPA is a Red Hat sponsored open source project which aims to provide an easily managed Identity, Policy and Audit (IPA) suite primarily targeted towards networks of Linux and Unix computers. FreeIPA can be compared to Novell's Identity Manager or Microsoft's Active Directory in that the goals and mechanisms used are similar.

FreeIPA currently uses 389 Directory Server for its LDAP implementation, MIT's Kerberos 5 for authentication and single sign-on, the Apache and Python for the management framework and Web UI, and (optionally) Dogtag for the integrated CA and BIND with a custom plugin for the integrated DNS. Development versions also use Samba to integrate with Microsoft's Active Directory by way of Cross Forest Trusts.

While each of the major components of FreeIPA is a pre-existing open source project it is the bundling of these components into a single manageable suite with a Comprehensive Management Interface that make FreeIPA more comparable to its proprietary software cousins, Identity Manager and Active Directory.

FreeIPA aims to provide support not just for Linux and Unix based computers but ultimately Microsoft Windows and Apple Macintosh computers also.

De webinterface van de IPA van A-Eskwadraat is te benaderen via [http://ipa01.a-eskwadraat.nl http://ipa01.a-eskwadraat.nl]. Hiervoor moet je wel op het netwerk van A-Eskwadraat zitten, dit is niet van buiten af te benaderen.

== Server installatie ==

Installeer <code>ipa-server</code> met alle dependencies. Zorg ervoor dat alle benodigde firewall-poorten open staan, na een schone kickstart hoeft enkel poort 7389 tcp nog geopend te worden. Vervolgens, om ipa-server te installeren ''zonder'' NTP-server:

ipa-server-install -N

Na de installatie moet de server nog een beveiligings-certificaat krijgen. Voer hiervoor het volgende commando uit:

ipa-getcert request -d /etc/pki/nssdb/ -n ipaserver-cert

Sudo gegevens zijn niet anoniem uit IPA te halen, daarom moet er voor de standaard user <code>sudo</code> een wachtwoord ingesteld worden (''zou kunnen dat dit niet meer nodig is''). Doe dit met

ldappasswd -Y GSSAPI uid=sudo,cn=sysaccounts,cn=etc,dc=a-eskwadraat,dc=nl -s sudopasswd

=== Firewall ===

IPA heeft een aantal poorten nodig om correct te werken:

{| class="wikitable" width="30%"
|-
| '''''Service'''''
| '''''Poort'''''
| '''''Type'''''
|-
| HTTP/HTTPS
| 80,443
| tcp
|-
| LDAP/LDAPS
| 389,636
| tcp
|-
| Kerberos
| 88,464
| tcp,udp
|-
| DNS
| 53
| tcp,udp
|-
| NTP
| 123
| udp
|}

== Client installatie ==

{{opmerking| Bij migratie naar een andere IPA-server moet <code>/etc/ipa</code> leeg zijn.}}

=== ipa-client-install ===

Installeer een IPA-client als volgt (uiteraard als root):

ipa-client-install

Er wordt tijdens de installatie gevraagd om een gebruikersnaam, gebruik daarvoor gewoon je eigen account.

'''''Reboot het systeem als de installatie voltooid is.'''''

=== sudo ===

Om sudoregels te gebruiken op systemen ouder dan CentOS 7, zie [[Sudo]].

=== httpd ===

Om in websites IPA te gebruiken is het nodig een PAM- en HBAC-service toe te voegen. Zie ook [[HBAC]].

== Schema ==

Aan het standaard schema van IPA is de objectClass 'aesAccount' met attribuut 'memberId'. Zie de volgende LDIF:

dn: cn=schema
changetype: modify
add: attributetypes
attributetypes:( 1.3.6.1.4.1.44413.1.1.1 NAME 'memberId' DESC 'MemberId of person'
EQUALITY integerMatch SYNTAX 1.3.6.1.4.1.1466.115.121.1.27 SINGLE-VALUE )
-
add: objectclasses
objectclasses: ( 1.3.6.1.4.1.44413.1.2.1 NAME 'aesAccount' SUP top AUXILIARY
DESC 'A-Eskwadraat account information' MAY ( memberId ) )

=== Lidnummer toevoegen ===

'mensjeadd' vraagt bij het aanmaken van een account om een lidnummer. Mocht er onverhoopt iets misgaan, met de onderstaande LDIF is het mogelijk om een lidnummer aan een account toe te voegen:

dn: uid=$login,cn=users,cn=accounts,dc=a-eskwadraat,dc=nl
changetype: modify
add: memberId
memberId: $lidnummer

== Replication ==

<s>Er zijn op dit moment drie IPA-servers met de volgende replication agreements:</s>

*<s>ipa01 <=> ipa02</s>
*<s>ipa01 <=> ipa03</s>
*<s>ipa02 <=> ipa03</s>
[[Category:Software]] [[Category:Sysop]]

== Gebruik ipa ==

Op de webinterface van IPA zijn alle eigenschappen van gebruikers en groepen te wijzigen onder het tabblad "Identity". Dit spreekt redelijk voor zich. Bij "Policy" zijn host-based access control en sudoregels in te stellen.

Sommige instellingen, bijvoorbeeld de home directory van een user, zijn als sysop-user niet aan te passen. Hiervoor moet je inloggen als admin.

=== Host-based access control ===

Op alle clients waar ipa is geïnstalleerd, wordt bij het inloggen sssd gebruikt om te authenticeren. Deze controleert op de ipa server of de gebruiker op die machine mag inloggen. Het is gewone gebruikers bijvoorbeeld alleen toegestaan om in te loggen op workstations, niet op virtuele machines en een aantal daarvan zijn wel ipa client. Bij Policy > Host-based Access Control in de IPA webinterface zijn de regels in te stellen die bepalen wie waar mag inloggen. Een regel bevat: de gebruikers waarvoor deze van toepassing is, de computers waarop deze van toepassing is, en de services waarmee ingelogd kan worden. Bij alle drie is er een optie om alles/iedereen toe te staan.

=== Sudoregels ===

Sudoregels staan toe dat een gebruiker een commando uitvoert als iemand anders. Het geeft gebruikers de mogelijkheid om commando's namens hun commissies uit te voeren, of sysop om overal sudo te gebruiken om root te worden. Deze zijn in de webinterface in te stellen bij Policy > Sudo. Een regel bestaat uit: welke gebruiker(s), welke computer(s), welke commando(s) en als welke gebruiker(s). Verder kunnen er opties worden toegevoegd, deze zijn gelijk aan opties die gewoonlijk in sudoers ingesteld kunnen worden, zoals !authenticate die bepaalt dat er geen wachtwoord ingevoerd hoeft te worden voor die regel.

=== Wat te doen als ipa01 eruit ligt ===

Eerst log je in als root op ipa01 (met de sysop key). De directory service raakt corrupt en dan komt wordt het filesystem read only. Met het volgende command kan je controleren of het filesystem inderdaad read only is:
grep "\sro[\s,]" /proc/mounts

Zoo

2018-02-26T18:27:03Z

Samh:

{{DISPLAYTITLE:Zoo}}

Een Zoo is een term voor een VM die wordt gebruikt als sandbox binnen de sysop. Hierop wordt bijvoorbeeld een inwerking voltooid of iets getest. Hierdoor heb je afzondering van de rest van het systeem en kan er veilig van alles fout gaan.

== Het maken van een Zoo ==

Je kan een zoo maken door de stappen in de [https://mediawiki.a-eskwadraat.nl/wiki/index.php/Virtualisation virtualisatie documentatie] te volgen

[[Category:Sysop]]

Zoo

2018-02-26T18:23:51Z

Samh: Created page with "{{DISPLAYTITLE:Zoo}} Een Zoo is een term voor een VM die wordt gebruikt als sandbox binnen de sysop. Hierop wordt bijvoorbeeld een inwerking voltooid of iets getest. Hierdoor..."