Difference between revisions of "Mail"

Revision as of 21:05, 17 May 2021

Bij A–Eskwadraat gebruiken we Maildir voor de opslag van e-mail van gebruikers. We raden gebruikers aan om niet direct de Maildirmappen te benaderen, maar om dit via IMAP of Alpine te doen. De standaardconfiguratie van de meeste mailclients staat hier ook voor ingesteld. Je kunt je mail bekijken op mail.a-eskwadraat.nl.

Services

Op haskell draait de virtuele machine vm-mailpp (spreek uit: mail plus plus) om het mailverkeer van en naar A-Eskwadraat te regelen:

• postfix (/etc/postfix/) verwerkt in principe alle binnenkomende mails, en wat er waarheen doorgestuurd moet worden;
• dovecot (/etc/dovecot/) neemt de POP- en IMAP-servers voor zijn rekening en verzorgt authenticatie voor het versturen van mails;
• amavis (/etc/amavisd/) geeft alle binnenkomende mails door aan SpamAssassin en ClamAV om gefilterd te worden;
• SpamAssassin (/etc/mail/spamassassin/) filtert de spam uit het binnenkomende mailverkeer;
• ClamAV (/etc/clamd.d/) scant het mailverkeer voor virussen en dergelijke;
• RoundCube (/etc/roundcubemail/, /usr/share/roundcubemail) is een webmailclient die in een apache webserver op vm-mailpp draait;
• Mailman (/etc/mailman/) Mailman is verantwoordelijk voor de mailing lists, zoals de BBCie-announce.

Naamgeving Maildirmappen

Let op dat om voor dovecot begrijpbare namen te hebben, de mappen op in ~/Maildir altijd met een punt moeten beginnen. Submappen werken ook op deze manier. Een paar voorbeelden:

• ~/Maildir/.Intro/ voor de IMAP-map Intro;
• ~/Maildir/.Sysop.postmaster/ voor de map postmaster als submap van Sysop.

Als de mappen via IMAP worden aangemaakt gebeurt dit automatisch.

Postfix

Postfix is de SMTP server voor de vm-mailpp.

Postfix gebruikt meerdere ports om mail te ontvangen en te verwerken. Mail die wordt gestuurd door leden moet naar de SMTP daemon op port 587 (submission poort) worden gestuurd. Authenticatie en TLS encryptie zijn een vereiste op deze verbinding. In de toekomst zal de Router de encryptie tussen client en mail-server regelen. Alle andere mail komt binnen op port 25. Spam- en virus-filtering gebeurd via de SMTP daemons op ports 10025 en 10027 voor onbekende en bekende mail, respectievelijk.

In /etc/postfix/master.cf staat de configuratie van deze daemons. De configuratie in /etc/postfix/main.cf wordt gebruikt voor zaken die niet in master.cf zijn opgegeven; in principe staat hier de configuratie voor poort 25 en worden de opties specifiek voor de andere poorten opgegeven in master.cf.

Een bug/feature van postfix die slecht gedocumenteerd is, is als volgt: wanneer postfix langer dan 10 seconden duurt over het authentiseren van een email, wordt deze geweigerd met een verkeerde foutmelding: "535 5.7.8 Error: authentication failed: Connection lost to authentication server (SMTP AUTH failed with the remote server)".

Transport

Eerst checkt Postfix of de inkomende mail aan een lokaal mailadres is gestuurd. Welke domeinen als 'lokaal' worden bestempeld staat in /etc/postfix/domains/local. Voor lokale mailadressen geldt, dat het domein in de verdere configuratie kan worden weggelaten.
Daarna checkt Postfix of de inkomende mail naar een virtueel domein is gestuurd. Mailadressen van domeinen zoals turingslegacy.nl worden herschreven naar lokale mailadressen (zonder domeinnaam). De virtuele domeinen staan in /etc/postfix/domains/virtual.

De overblijvende adressen, worden opgezocht in de bestanden met aliases in /etc/postfix/aliases, om te zien of de mail toevallig naar een ander lokaal mailadres doorgestuurd moet worden. Postfix gebruikt hiervoor de bestanden in .db formaat, de tekstbestanden zonder extensie zijn voor ons als sysop leesbaar en te bewerken maar moeten wel met postalias in een .db bestand omgezet worden naar iedere wijziging. (Let op voor bestanden die ingedeeld zijn zoals het bestand virtual onder domains moeten worden aangepast met het commando postmap <bestandsnaam>)
Als iemand dit vergeet na het aanpassen van een bestand met aliases, plaatst postfix een melding in /var/log/maillog: "database file bestandsnaam.db is older than source file bestandsnaam".
Nu blijven er als het goed is, alleen gebruikersnamen over die op het systeem bestaan. Voor deze gebruikers wordt het bestand .forward in de homedirectory van de gebruiker opgezocht.

Als in een .forward bestand de gebruikersnaam voorafgegaan door een backslash (\) wordt aangetroffen, wordt de mail in de Maildir map van die gebruiker geplaatst. Als een regel met een pipe (|) wordt aangetroffen, wordt het mailbericht doorgegeven als standard input aan het commando dat achter het |-teken staat. Andere regels met tekst worden geïnterpreteerd als mailadressen (lokaal zonder domeinnaam of willekeurig mailadres met domeinnaam) waarnaar de mail moet worden doorgestuurd.
Let op bij het gebruiken van de pipe (|): het kan zijn dat SELinux niet toestaat dat postfix een ander programma direct aanroept.

Als de mail niet bij een lokaal of virtueel adres hoort, checkt postfix of de inkomende mail is gestuurd naar een domein waarvoor A-Eskwadraat mail relayet. Deze mail word onveranderd naar de mailserver van dat domein verstuurd (relaying). Dit voorkomt verlies van mail voor het externe domein wanneer hun mailserver uitvalt, aangezien A-Eskwadraat de secondary mailserver is voor dat domein. Een uitzondering op de regel is mail bedoeld voor de webserver. Mail aan de webcie komt binnen op de mail server, maar moet worden doorgestuurd naar de webserver. De verwijzingen zijn te vinden in /etc/postfix/transport_www en /etc/postfix/transport_regex.

Let op dat deze uitleg heel erg bot is. Lees de relevante man pages van Postfix om te leren hoe mail word verwerkt. Let op dat veranderingen in een alias/transport/domain map niet worden opgemerkt tot het postmap of postalias op het bestand is aangeroepen!

Mail Authorisatie

Om te controleren of een gebruiker wel als een adres mag mailen wordt gebruik gemaakt van de smtpd_sender_login_maps optie voor postfix, die in een database de users opzoekt die als gegeven adres mogen versturen. Als er via SMTP een request gedaan wordt om van buitenaf een mail te versturen doet postfix een query en kijkt welke users als die alias mail mogen versturen. Deze config is op de vm-mailpp te vinden in `/etc/postfix/alias_auth.cf`.

De database wordt gegenereerd door een python script die op de vm-sysop staat bij de sysop api, aangezien daar de mail aliases al staan voor de alias_check. Het python script, te vinden in `/var/www/html/api/python/mail-authorization.py`, loopt recursief langs alle users die in cies, bestuur, extern of iba zitten en kijkt daarnaast ook naar mail aliassen. Aan de hand hiervan wordt met een sql query alle transitieve relaties expliciet gemaakt, zodat dit niet runtime gedaan moet worden. Als een alias naar een cie wordt doorgestuurd, en een user weer in die cie zit, wil je dat die user ook als die alias mag mailen. Als database wordt PostgreSQL gebruikt op de vm-database. De database die gebruikt wordt heet "mail". In de python code staan nog wat comments. Er draait op de vm-sysop een cron die af en toe de database refreshed. Daarnaast is het python script ook intern bereikbaar hier. Bij het laden van deze pagina wordt de database gerefreshed. Op deze manier kan de database meteen gerefreshed worden zodra iemand toegevoegd is aan een cie. Als er in een alias een wildcard staat (*@bapc.eu: bapc), wat betekend dat alles van het domein bapc.eu naar de bapc commissie wordt gestuurd, wordt dit omgezet naar een SQL wildcard, wat uiteindelijk dus netjes werkt.

Er is reeds voorgekomen dat de cache van mailpp niet verversd werd waardoor er geen permissions kwamen voor gebruikers.

Als gebruiker x mag mailen als y@a-eskwadraat.nl, dan komen in de database de entries (x, y@a-eskwadraat.nl), (x@a-eskwadraat.nl, y) en (x@a-eskwadraat.nl, y@a-eskwadraat.nl) te staan. Dit omdat dingen soms worden opgevraagd met domain en soms zonder.

Mailfiltering

Postfix maakt gebruik van amavisd voor het filteren van de inkomende mail. Amavis is een interface voor SpamAssassin welke spam filtert en ClamAV welke mails op virussen scant. Check de configuratie op vm-saltmaster voor details.

Om de virus database up te daten:

freshclam

Mailman

Mailman is verantwoordelijk voor de infrastructuur van de mailing lists. De mailing lists zijn te vinden op [lists.a-eskwadraat.nl/mailman lists.a-eskwadraat.nl/mailman]. Er zijn twee belangrijke services om mailman te draaien: mailman en httpd. De configuratie van mailman bevind zich in /etc/mailman/, de data bevind zich in /var/lib/mailman, en de binaries bevinden zich in /usr/lib/mailman.

Gebruik de scripts in /usr/lib/mailman/bin om de mailing lists vanaf de command-line te wijzigen. De volgende commando's zijn belangrijk bij het debuggen / migreren van mailman:

• check_perms: repareert de bestandsrechten van mailman-specifieke bestanden.
• with_list & fix_url: repareert de links van de mailman archieven indien deze zijn veranderd.

Lees de MailmanWiki voor een samenvatting van alle commands.

Mailman werkt samen met de Postfix mailserver via de alias map /etc/mailman/aliases. Voer het volgende commando uit na het toevoegen/verwijderen van een lijst zodat Postfix zijn alias database update:

postalias /etc/mailman/aliases

Na een migratie van de mailman lijsten is het belangrijk om restorecon uit te voeren op /var/lib/mailman. Mailman en SELinux werken prima samen zolang de rechten maar goed staan.

# Samenvatting van een Mailman migratie.
# Op de nieuwe mailserver.
rsync -azv -e "ssh -i <sshkey>" <OUDEHOST>:/var/lib/mailman/ /var/lib/mailman/
restorecon -r /var/lib/mailman/
cd /usr/lib/mailman/
bin/check_perms -f
bin/withlist -l -a -r fix_url

Dovecot

Dovecot is de IMAP server verantwoordelijk voor het ophalen en beheren van de mail opgeslagen in de homedirs. Mail wordt opgeslagen in de .Maildir van een gebruik zijn home directory. De server luistert op poort 143 (standaard IMAP poort) en vereist een TLS-encrypted verbinding van de gebruiker. Het certificaat voor de verbinding is anders dan het certificaat van de webserver.  Dovecot authenticeert gebruikers door middel van LDAP. Dovecot werkt ook als authenticatie-server voor postfix door middel van een open socket. Een SELinux module is vereist om Postfix toegang te geven tot de socket.

Voor meer configuratie details, zie de configuratie op de salt-master. (CentOS 6: /srv/salt/centos/vm-mail/dovecot, CentOS 7: /srv/salt/centos7/dovecot)

AL DE CONFIGURATIE HIERONDER IS GIGANTISCH OUT OF DATE \/\/\/

Configuratie mailfilters

Gebruik je een .forward of .procmailrc om e-mail direct in mappen te stoppen, let dan op de naamgeving (zie hierboven) en zorg ervoor dat de mappen altijd op een / eindigen. Begin je .procmailrc ook altijd met de regel

MAILDIR=$HOME/Maildir/

om te zorgen dat e-mail toch niet in /var/mail terechtkomt.

Maak een mailserver met exim, en dovecot

Zorg eerst dat sendmail uit staat!

service sendmail stop
chkconfig sendmail off

Bij voorkeur verwijder je ook de package voor postfix. Deze is standaard bij CentOS geïnstalleerd.

Exim

Exim is een MTA (Mail Transfer Agent) en is ervoor om mailtjes te versturen, ontvangen, en doorsturen. Dit gebeurd uiteraard op de mailserver!

Installeer allereerst exim op de host.

# yum install exim

Verander vervolgens het configuratie bestand /etc/exim/exim.conf:

# Het Mail domain - normaal gesproken a-eskwadraat.nl
primary_hostname = circle.a-eskwadraat.nl

# Weiger met ipv6 te werken.
local_interfaces = 0.0.0.0
disable_ipv6 = true

daemon_smtp_ports = smtp : submission
accept_8bitmime = true


# Lijsten van geldige mail domainin.
domainlist mailman_domains = CONFDIR/domains.mailman
domainlist local_domains = @ : CONFDIR/domains.local : +mailman_domains : lsearch;CONFDIR/domains.virtual
domainlist relay_to_domains = CONFDIR/domains.relay

hostlist relay_from_hosts = 10.14.3.0/22

# Backup mail server in het geval dat onze niet werkt.
hostlist mx_hosts = mail.wolffelaar.nl

qualify_domain = A-Eskwadraat.nl

queue_run_max = 250

smtp_accept_max = 100
smtp_accept_max_per_host = ${if match_ip{$sender_host_address}{+mx_hosts}{50}{10}}

received_headers_max = 30

RETRY_SECONDARY=F,90d,15m
RETRY_REST=F,2h,15m; G,16h,2h,1.5; F,4d,8h

acl_smtp_rcpt = acl_check_rcpt
acl_not_smtp_start = acl_check_not_smtp
acl_smtp_data = acl_check_data

host_lookup = *
helo_try_verify_hosts = !@ : !@[]
helo_allow_chars = _

# ClamAV - The Anti-Virus Scanner
av_scanner = clamd:/var/run/clamav/clamd.sock

# Custom 5s limiet.
rfc1413_query_timeout = 5s

# Mailman support, als per /usr/share/doc/mailman/README.EXIM.gz
MAILMAN_HOME=/var/lib/mailman
MAILMAN_WRAP=/usr/lib/mailman/mail/mailman
MAILMAN_USER=mailman
MAILMAN_GROUP=mailman

Dovecot

Dovecot is een IMAP en POP3 server, wat inhoud dat het mailtjes kan ontvangen, iets wat best wel handig is om te hebben. Installeer dovecot op je mailserver als je dat nog niet gedaan hebt. Verander dan nu het volgende:

In /etc/dovecot/dovecot.conf:

• protocols = imap
• login_trusted_networks = <ip-adressen die je vertrouwd>

In /etc/dovecot/conf.d/10-mail.conf

• mail_location = maildir:~/Maildir
• lock_method = dotlock

In /etc/dovecot/conf.d/10-auth.conf

• disable_plaintext_auth = no
• auth_realms = aeskwadraat
• auth_default_realm = aeskwadraat
• auth_gssapi_hostname = <ipa-server>
• auth_krb5_keytab = /etc/dovecot/krb5.keytab
• auth_mechanisms = plain gssapi

en zet op het einde

userdb {
  driver = static
  args = uid=dovecot gid=dovecot home=/var/spool/mail/%u
}

Maak nu op de ipa-server een service imap aan met de mailserver als host. Dit kan je doen via de webinterface. Voer vervolgens het volgende uit op de mailserver:

kinit admin
ipa-getkeytab -s <ipa-server> -p imap/<mailserver> -k /etc/dovecot/krb5.keytab
chown root:dovecot /etc/dovecot/krb5.keytab
chmod 640 /etc/dovecot/krb5.keytab

Restart dovecot en zet hem standaard aan:

service dovecot restart
chkconfig dovecot on

Zet tenslotte nog met system-config-firewall-tui 'imap over ssl' en 'mail (smtp)' aan, en voila! Je kan nu met ipa-users gebruik maken van IMAP om mailtjes te ontvangen!

Je kan eventueel in /etc/postfix/main.cf en /etc/dovecot/conf.d/10-mail.conf nog het een ander van waar de mail wordt opgeslagen veranderen.

Spamassassin

Spamassassin is een mailfilteringprogramma voor spam. Om het te installeren:

yum install spamassassin

Maak nu de user en group spamd aan:

groupadd -g 5001 spamd
useradd -u 5001 -g spamd -s /sbin/nologin -d /var/lib/spamassassin spamd
mkdir /var/lib/spamassassin
chown spamd:spamd /var/lib/spamassassin

Zet dan het volgende in /etc/mail/spamassassin/local.cf:

required_score 5.0
report_safe 0
rewrite_header Subject [***SPAM***]

# Enable the Bayes system
use_bayes 1
use_bayes_rules 1
# Enable Bayes auto-learning
bayes_auto_learn 1

Verander nu in /etc/postfix/master.cf

smtp      inet  n       -       n       -       -       smtpd

in

smtp      inet  n       -       n       -       -       smtpd -o content_filter=spamassassin

en stop op het einde van master.cf:

spamassassin unix - n n - - pipe flags=R user=spamd argv=/usr/bin/spamc -e /usr/sbin/sendmail -oi -f ${sender} ${recipient}

Restart nu spamassassin en postfix:

chkconfig spamassassin on
service spamassassin restart
service postfix restart

Aliases

In postfix staan de locaties van de aliases in /etc/postfix/main.cf. Deze kan je vinden bij de regel 'alias_maps = ...'. Als je een nieuw aliasbestand wilt toevoegen, voeg dit dan ook toe bij deze regel als hash:<bestandslocatie>. Vergeet ook niet om dit toe te voegen bij alias_database!.

De aliases zelf staan geconfigureerd in de aliasbestanden die te vinden zijn onder /etc/postfix/alias/. Als je een nieuwe alias in een bestand hebt gezet moet je het db-bestand up-to-date make door het commando 'postalias *bestand*' uitvoeren. Let erop dat de bestandsnaam de naam van het bestand is wat je gewijzigd hebt, niet een bestand met extensie '.db'.

Op het moment van schrijven hebben we 4 alias bestanden (bestuur, cies, mensjes en standaard). Als je een alias toevoegt of veranderd doe je dit in het bijbehorende alias bestand (bestuur gerelateerde aliassen in "bestuur", cies gerelateerde aliassen in "cies", etc.).

Als voorbeeld gaan we de alias sokken@a-eskwadraat aanmaken voor Michal en Rosanne. Dit is niet bestuur of cies gerelateerd dus zetten we deze alias in het bestand mensjes. Navigeer naar /etc/postfix/alias en open het bestand mensjes. Je begint met de alias gevolgd door een dubbele punt en dan A-eskwadraat gebruikersnaam(en) waarvoor de alias bedoeld is. In het geval van sokken@a-eskwadraat komt dat er dus als volgt uit te zien:

sokken: michalj, rosanne

Vervolgens moet deze wijziging nog in de database gezet worden dit gebeurt met:

postalias mensjes

Nu gaan de mailtjes die binnenkomen op sokken@a-eskwadraat naar Michal en Rosanne!

Lijst van alle forwards maken

Stap 1

Maak een lijst die voor elke alias geeft waar het naar geforward wordt:

postalias -s [naam database bestand (zonder .db)]

Het onderstaande lijstje moeten we handmatig meenemen en is gebaseerd op de aliassen in het standaard.db bestand:

abuse:  postmaster
backup: root
hostmaster:     root
irc:    root
list:   root
listmaster:     root
logcheck:       root
postmaster:     sysop-postmaster, sysop
root:   sysop
selinux:        root
webmaster:      webcie
www-data:       webcie
mailer-daemon:  postmaster
mailman-owner:  listmaster
majordom:       root
uucp:   root
www-dmz:        webmaster

Let op: Er zijn ook een soort aliassen in de /etc/mailman/ map, waarschijnlijk bedoeld voor mailing lists.

Ook nog even kijken naar de aliasen in /etc/aliases.db

Instellingen

Postfix

Mail relay

Postfix kan mail relayen naar een extern domein. Hiervoor is de volgende regel:

relay_domains = $mydestination, hash:/etc/postfix/domains.relay

In het bestand /etc/postfix/domains.relay staat de lijst van alle externe domains waar mail naar toe gerelayed wordt. Als je iets in het bestand wijzigt, vergeet dan niet om daarna het commando

postmap /etc/postfix/domains.relay

uit te voeren.

Whitelist

Postfix kan gebruik maken van een whitelist. Zorg hiervoor dat er het volgende in /etc/postfix/main.cf staat:

smtpd_client_restrictions = check_client_access hash:/etc/postfix/client.access

In het bestand /etc/postfix/client.access staat de lijst van alle domains die geweigerd en toegelaten worden. Als je hier iets in verandert, vergeet dan niet om uit te voeren

postmap /etc/postfix/access.client

SquirrelMail

SquirrelMail is een webmail-client.

SquirrelMail installeren

Installeer eerst natuurlijk Squirrelmail:

yum install squirrelmail

Zorg ervoor dat httpd standaard aan staat en start httpd:

chkconfig httpd on
service httpd start

Verander nu het volgende in /etc/squirrelmail/config.php:

$org_name        = "A-Eskwadraat";
$org_logo        = SM_PATH . 'images/sm_logo.png';
$org_logo_width  = '308';
$org_logo_height = '111';
$org_title       = 'A-Eskwadraat SquirrelMail $version";
$signout_page    = 'vm-mail.a-eskwadraat.nl';

$domain            = 'circle.a-eskwadraat.nl';
$imapServerAddress = 'localhost';
$useSendmail       = false;
$smtpServerAddress = 'localhost';
$pop_before_smtp   = false;
 

Zet nu het A-Eskwadraat logo in de squirrelmail config map.

setsebool -P httpd_can_network_connect 1

RoundcubeMail

Roundcube is ook een webmail client.

Installeren

Op vm-salt-master staat een configuratie voor een Roundcube mail VM met een korte readme. Deze zorgt ervoor dat httpd, roundcubemail en mariadb geinstalleerd staan. Salt een VM met deze configuratie.

salt '$hostname' state.highstate

Laat vervolgens httpd van die VM door de firewall heen. Daarna moet de database voor Roundcube geinitialiseerd worden. Dit gaat met mysql.

CREATE DATABASE roundcubemail;
GRANT ALL PRIVILEGES on roundcubemail.* TO roundcube@localhost IDENTIFIED BY '$password';
FLUSH PRIVILEGES;

Nu moet de timezone nog even ingesteld worden in /etc/php.ini op de roundcube VM. Daarna moeten er nog de juiste tables in de database worden gezet. Dit kan door op de nieuwe VM de bestanden in /etc/roundcubemail/databasefiles te runnen met mysql.

mysql roundcubemail < mysql.initial.sql