Scoutnet vzw

Oi,
Ik wil 2 dingen doen:

1. Bepaalde afzenders op bepaalde lijsten blocken
   Dat moet met procmail zeker? In de man pages hiervan hebben ze het over de .forward file. Is dat dezen die in onze direcory staat? Moeten daar die commando's in? Of blijf ik daar beter af tot we meer over procmail en scoutnet weten?
   
2. Mail logs
   Is dit mogelijk? Wie wanneer naar welke lijst gemaild heeft en met welk onderwerp? (mail zelf moet ik niet zien)

Tjah, daar zijn we weer met procmail :) Een hoop mensen hier op scoutnet hebben er ook al achter zitten zoeken en nog weinig gevonden eigenlijk. Maar geef de moed nog niet op zou ik zeggen en ga zelf ook op zoek! Die logs moeten ook makkelijk te maken zijn met procmail (eens je het kan doen werken natuurlijk).

Keb mij dan maar eens op procmail gestort en ziedaar:
als ik met mijn telenet adres een mailke stuur naar sn1038@scoutnet.be zet ie de mail in mapke in onze homerdir (om maar iets te doen...)
maar...
Dit gaat precies alleen maar met het sn1038 adres (wat redelijk logisch is)

Iemand een idee hoe ik de mails naar de e-maillijsten zou kunnen onderscheppen?

Het werkt

De drempel was misschien nogal hoog om met procmail te werken. Misschien dat dit kan helpen voor anderen, om zo samen nog meer te kunnen uitvissen.

De volgende uitleg is gebaseerd op mijn ervaringen met procmail. Tzal waarschijnlijk niet allemaal 100% juist of efficiënt zijn, maar tis een begin. Comment is altijd welkom é, tkan er maar op verbeteren. Ik heb alles uit meerdere tutorials en faqs gehaald van het net.
Misschien best eerst eens helemaal doorlezen...

Ik denk dat den truuk is dat je alle mail die je wil verwerken eerst moet doorspelen aan je snXXXX@scoutet.be adres, want dit is -volgens mij- de enige die door procmail verwerkt kan worden.

Ik zal in het vervolg sn0601 (de testaccount) als voorbeeld gebruiken, dus telkens als je die tegenkomt pas je die aan naar uw account.

Ik had een .forward file staan met daain mijn eigen adres, dus alle mail naar sn0601@scoutnet.be werd doorgezonden naar mijn @telenet.be adres. Dit terzijde

Eerst maak je een direcory .procmail en een directory mail aan in je home root, we komen hier later nog op terug

dan maak je, terug in je home root, een file .procmailrc aan, met daarin:


Let op: file met een . => onzichtbaar...

Het spreekt voor zich dat je sn0601 vervangt door jouw login (snxxxx)
De MAILDIR is om mails ea. in op te slaan.
Je kan de verbose op on zetten als je alles aan het uittesten bent, maar je zal wel zien, dit komt snel een grote file, zet je dan best weer op off als alles draait zoals het moet.

Nu pakken we de .forward file aan, die staat normaal ook in je homedir, zoniet, maak er dan een aan. Als er momenteel een adres instaat waarnaar er moet geforward worden (zoals bij mij), niet erg, we fixen dat later wel.
Zet er nu de volgende lijn in: (mét “ tekens)

terug sn0601 naar jouw snxxxx vervangen

Waar staan we nu al?
Wanneer er mail is naar sn0601@scoutnet.be zoekt ie naar die .forward file. Waar er vroeger misschien gewoon jouw e-mailadres stond, staat er nu een regelke dat zegt dat hij de mail eerst met procmail moet verwerken.

Dan gaat hij -denk ik- op zoek naar .procmailrc file in jouw homedir. Aha, ideaal, want die hebben we zojuist aangemaakt

Allemaal goed en wel, maar waar zet ik nu die filters en zo?
Wel, dit neemt INCLUDERC=$PMDIR/test.rc voor zijn rekening. In uw .procmail directory kan je files zetten à la test.rc. Je kan er een heleboel onder elkaar zetten, of gewoon alles in 1 rc file zetten.

Die (laten we ze maar filters noemen) filters hebben min of meer de volgende structuur:


deze filter zal alle mail wat van test@testen.be komt wegschrijven in (onze opgegeven) mail map. De file heet test.
dus:

:0
* voorwaarde (met reg-expressions)
wat-doe-je-er-mee

Je kan meerdere filters onder elkaar zetten, maar -ik denk dat- wanneer hij 1 gevonden heeft dat klopt met de voorwaarde, hij stopt met de rest te onderzoeken.
* Hmm, misschien gaat hij wel nog door met andere .rc files te checken? donno *

Maar laten we het reëel houden, we zaten nog met het feit dat het adres in m'n .forward file de mails moet ontvangen van sn0601@scounet.be. Wel we kunnen hiervoor een filter schrijven die alle mail naar sn0601@scounet.be forward naar mijn adres:


Een ! Staat voor een forward, en een | staat voor een commando uitvoeren (zie verder)
Merk ook de \ op, dat is om de . te kunnen escapen, want in reguliere expressies wil dit zeggen: “gelijk welk een karakter” Er zijn tutorials die zeggen dat je dit niet zo belangrijk is, maar we spelen beter op safe.
Ik heb ook al gemerkt dat het voor een forward adres niet nodig is, twerkt zelf niet. (tis dan ook geen reg-ex)

Waar staan we momenteel?
Wel alle mail naar sn0601@scoutnet.be wordt geforward naar mijn adres.
Joepie...

Maar we willen meer, volledige controle op al onze adressen!
Wel, we hebben nog iets over ivm. e-mail waar we nog niet zijn aangekomen: de emailaliases file.
Hierin staat telkens:

adres fwdadres/lijst

bv:


sn0601_01 is een e-mail lijst, met bijvoorbeeld de adressen van de welpenleiding in.
Hiervan maken we:


Wanneer men nu naar lijst@.. een mailke stuurt, komt dat toe bij sn0601@scoutnet.be Dankszij onze procmail instelling kunnen we deze mail nu onderscheppen en/of gewoon doorsturen naar de juiste lijst. We zetten daarvoor nog een filter in onze .rc file:


Met ^To.* kan je dus kijken voor wie de mail is. (^Subject.* geeft onderwerp)
Dan sturen we hem gewoon door naar de e-maillijst

Ziezo, In feite kan je nu gewoon alles door je .rc script laten afhandelen, en kan je in uw emailaliasses zetten:


Op deze manier sleur je alles door uw procmail.
Dan moet je voor al uw lijsten die in emailaliases stonden een forward filter schrijven naar het adres dat er bij stond.

Om dan toch nog de onbestaande adressen ergens toe te laten komen zet je hélemaal onderaan:


Wil je geen controle houden op bepaalde adressen, dan laat je ze gewoon in de emailaliasses staan.

Nu, wat ik wilde doen was a) blocken van afzenders en b) email verkeer loggen.

Met het blocken zat ik met een probleemke, stel (stel dus) dak ik 100 adressen zou willen blocken, of 'slechts' 100 adressen gebruik laten maken van een maillijst, (aha, we hadden ons vroeger al eens afgevraagd of dit kon, ja dus ) ik zou nogal wat werk hebben om ze allemaal in te geven. En om het te laten automatiseren zou het al helemaal een soepke worden.
De oplossing hiervoor is de betreffende adressen uit een externe file halen. Hoe ik het precies moet doen weet ik nog niet, maar ik denk dat dit me wel kan helpen:

(hmmm, dit heeft verdacht veel mee van eigen email-lijsten aanmaken... maar soit, we hebben er al 30)

Wat ik wel al voor mekaar heb gekregen is het loggen van de e-mails!

Met het | teken kan je dus commando's uitvoeren in de shell. Wie een beetje linux-ervaring heeft weet dat je met


de tekst hiephoi in het bestand logfile wegschrijft. (>> voegt er bij)
Dit is dus bruikbaar om te loggen, maar met hiephoi zijn we niet veel, we willen tijd, afzender, bestemmeling en onderwerp loggen.

Hiervoor kunnen we 'formail' gebruiken dit is zoiets als de headers ophalen van je bericht.


Steekt het onderwerp in de subject variabele, die je kan oproepen met $SUBJECT. Na enig zoeken kreeg ik alles wat ik wilde in variabelen en kon ik outputten. Ik heb -voor het gamak later- een csv bestand genomen als output. Maar wel een § teken genomen als seperator, want -de meer gebruikelijke- ; komt wel meer voor als men naar meerdere adressen in 1 keer stuurt...


Als je na >> gewoon iets zet komt het in de MAILDIR map terecht die we eerder hebben opgegeven.

Nu wil ik dus alles loggen én daarnaast doorsturen of blocken,
Oeie, 2 dingen, als het met de voorwaarde klopte stopte hij toch? Jep, maar gelukkig kunnen we nesten. Dat maakt dat mijn finaal .rc bestand er zo uit ziet:


Bemerk de :0c
Zonder die c na de nul kreeg ik miserie, al hoeft die er niet staan volgens sommige tutorials. De c geeft een copy door naar onderliggende filters

Huppe, ik denk dat ik bij deze zowat alles getoond heb wat ik er in de afgelopen dag(en) van heb opgestoken.
Ik hoop dat dit een goeie voorzet is om de geïnteresseerden op weg te helpen.
En vergeet niet: google is your friend! (procmail tutorial) en de man pages zijn ook ideaal! (man procmailex, man procmailrc)

Waw, nice. Believe me, ik heb al serieus zitten zoeken en heb ook al een paar tutorials gelezen en dingen geprobeerd. Maar de missing link was dus de .forward file. Ik had nog nooit ergens gelezen dat je daar expliciet een oproep moet doen naar procmail (waar heb je dat gevonden?).

Dit wil nu inderdaad ook zeggen dat we nu zelf een onbeperkt aantal mailinglijsten en aliassen kunnen aanmaken :) Hopelijk wordt dit niet misbruikt en mogen we procmail verder gebruiken voor logging, blocking et cetera?

K, ik heb een verwijzing gevonden naar .forward in de procmail manual. Normaal gezien wordt procmail/mailserver zo ingesteld dat procmail wordt opgeropen bij iedere binnenkomende mail. Is dat niet zo dan is het voldoende om volgende regel in .forward te zetten:

vergeet de " tekens niet! (die interfield seperator declareren en exit code hoeft dus niet).

Vanaf dan kan je doodleuk alle tutorials volgen :)

Alle mailinglisten die je gemaakt hebt via mailing/ en emailaliases werken blijkbaar ook nog (dus je hoeft nu niet zelf je forward regels gaan schrijven, tenzij je die lijsten wil blocken of loggen natuurlijk).

EDIT: Als je liever naar een database logt (ik weet dat er mensen dit zullen vragen :), verander dan de regel, in janbarts voorbeeld, die begint met |echo door |mysql --password=XXXX --database=snXXXX --exec="INSERT blablalba".

PS: ik denk dat het .procmailrc moet zijn ipv van .procmail? Was dat een typo of werkt dat ook?

Ja ergens in zo een tutorial, en ik had al zo een vermoeden...



Ik zou eigenlijk niet weten wat die lijn wou zeggen, keb da gewoon overgenomen, en het werkte


Jep, das het leuke er aan, wil je er niets mee doen, laat het dan gewoon in je aliases staan. Wil je ze eerst verwerken -> doorgeven aan je snXXXX


Zeg maar Simon hoor (kga eens mijn naam moeten verandern)
Maar is er op deze manier van invoegen geen serieuze kans op SQLinjection?

Het moest idd .procmailrc zijn, kad er over gekeken.

Kzou nu graag eens:
-Uitvissen hoe we zo een block/allow lijstje kunnen toepassen
-Hoe we in een mail die verzonden is naar een onbestaand adres het subject kunnen aanpassen met iets van 'fout adres' er in, en dan doorsturen

Nu kunnen we ook iets maken dat je kan mailen naar een of ander adres, en dat de body van die mail in een de database komt te staan, en op die manier je website van content voorzien. Je kan met nen gsm van vandaag de dag toch e-mailen hé (of ben ik mis, ken daar nie veel van)
Wel, dan kan je -zittend aan het kampvuur- via je gsm een logboek op je site updaten om het thuisfront laten weten hoe het met jullie gaat op kamp

Weet er iemand hoe we die variabelen kunnen doorspelen aan een perl (of php?) script? Dan lijkt me gemakkelijker om de gegevens te verwerken.

Die | is een pipe. Wat er op neerkomt dat je die email doorgeeft aan het programma achter de pipe, procmail dus.



Nog definitiever: enkel snXXX@scoutnet.be en hostname@scoutnet.be (bv. gisco@scoutnet.be) worden geprocessed via procmail. Wil je toch alle adressen op hostname.be processen met procmail? (bv. *@gisco.be) Zet dan in je emailaliases helemaal onderaan: En verwijder alles erboven als je geen gebruik wil maken van de standaard mailing lists.


Erm, very good point :oops: Iemand die weet hoe je dit best kan oplossen? Ik dacht iets in de lijn van:


Een ideetje:
Maar backticks gaan waarschijnlijk niet werken in een regexp :(





Ze vinden mij al nerdig genoeg denk ik :p


Met formail kan je heel wat zaken makkelijk uit een email halen.

Bv. zoals hierboven voor de subject rename, met formail -x Subject kan je de subject header extracten. -z zorgt ervoor dat whitespace getrimmed wordt. En met behulp van backticks denk ik dat je de meeste zaken makkelijk in .procmailrc zelf kan scripten. Als je iets grotere, complexere dingen wil doen is het mss inderdaad wel handig om de mail door te spelen aan een perlscript/shell/php script. Ik zou dan wel de volledige mail doorspelen en het extracten van de nodige gegevens overlaten aan het script (dat eventueel ook gebruik kan maken van formail).

Wat ook leuk is, is dat je nu mails kan taggen door de naam van de mailinglist tussen [] in de subject te zetten. Handig om je eigen mailbox (en die van je medeleiding :) proper te houden.

pijpt die regel niet naar sed, maar naar (commandline) php script waarin ge mysql_real_escape_string() doet bijvoorbeeld.

of nog beter: stuurt gewoon al die gegevens naar een eigen mysql-insert script en doe er daarna nog eens mee wat ge wilt (ge kunt dan wéér logs van deze actie naar uzelf laten doormailen, mat me der trouwens aan doet denken dat ge misschien nog iets moet inbouwen om endless mailloops te voorkomen... leeuwarden kan het nu al bijna nie meer aan :-D)

met andere woorden:

_________________
groetjes,
BBBart

Clever idee om de php functies te gebruiken. Daarvan zijn we tenminste zeker dat ze degelijk werken (in tegenstelling tot mijn cheapo sed hack :p)

Die mail loops kunnen inderdaad wel voorkomen als iedereen nu plots met procmail gaat prutsen :D Ik zou zeggen, tail -f je verbose pmlog en kijk uit je doppen.

In de man pages van procmailex staat er bij die vacation examples iets van loops tegen gaan, ze werken dan met: ^X-Loop:
Als we een standaard filter uitwerken dat iedereen dan moet implementeren moet dat haalbaar zijn é.

Begrijp ik het goed dat je met een regel als:

In je php script dan aan de from variabele kan met $_REQUEST['FROM'] ?
Of eigenlijk gewoon een querystring aanmaken?

Beetje per beetje gaan we er wel geraken, tes bere [/code]

Tis nie met REQUEST, maar met $argv[0], $argv[1], enz. Totaal aantal arguments zit in $argc. Maar aangezien php scripts niet uitvoerbaar zijn op zichzelf is $argv[0] meestal gelijk aan /usr/local/bin/php en zit het eerste argument in $argv[1].

het moet natuurlijk ook geen PHP zijn hee. ik verkies zelf perl bijvoorbeeld (van de zaken die op leeuwarden voorhanden zijn). in die keuze zijt ge vrij.

_________________
groetjes,
BBBart

Alles soorten procmail recipes voor mailinglists: http://www.hartzler.net/smartlist/Smart ... ection_8.3

Wreed interessant :)

ge kunt er precies veel mee doen, maar allemaal snappen is iets anders ... :s

Kan je er ook de reply-to header mee wijzigen? Nu gebruiken we geregeld reply-all (met als gevolg dat originele zender de reply 2x aankrijgt.