Spam: het einde is nog niet in zicht

Door Vincent Schönau, 02 January 2007

De gevolgen van de grote toename in spam de afgelopen maanden zijn deze laatste twee weken van het jaar pijnlijk duidelijk geworden.

In Nederland kwam dat in het nieuws door storingen in de mailvoorzieningen van providers als Chello en Demon. Maar niet alleen Nederlandse providers zuchten onder de last; ook de mailservers van Nieuw-Zeelandse provider NZ Telecom, Engelse webhoster 123-reg en onderwijs-instellingen in de VS konden de storm nauwelijks weerstaan.

De reden voor deze problemen is niet de groei op zich. De meeste providers en mailserver-beheerders weten al langer dat de voornaamste bijdrage in de groei van het e-mail volume wordt geleverd door spam. Wat velen heeft overvallen is dat de groei deze afgelopen maanden sterk is toegenomen. De eerste tekenen daarvan werden in de zomer merkbaar, toen een type spam zich aandiende dat door veel filters van dat moment niet herkend werd; de veelbesproken image-spam.

In oktober begonnen spammers in hoog tempo nieuwe, nog niet eerder gebruikte ‘bots’ (met trojans geinfecteerde Windows-computers) in te zetten. Het gebruik van ‘botnets’ voor spam is niet nieuw - het is al een jaar of twee zo dat de meeste spam verstuurd wordt via dergelijke gecompromitteerde windows-systemen. Een nieuwe generatie trojans, zoals Spamthru verspreidt zich snel, verbergt zich goed, en is erg moeilijk te verwijderen.

Spam grafiek

Deze grafiek laat het totaal gescande mail-verkeer, en de resultaten van dat scannen zien. Op de verticale as staat het aantal berichten per seconde.

De toename in mailvolume is vrijwel volledig spam. Als maar een klein deel van de extra spam (laten we zeggen, 20%) door de filters weet te komen, betekent dat wel dat ontvangers absoluut gezien meer spam in hun inbox krijgen. Omdat het volume aan normale e-mail lang niet zo hard toeneemt, ervaren gebruikers daardoor ‘veel meer spam’. In een interne discussie over dit fenomeen heb ik dat de ‘Klant Inbox Ervaring’ gedoopt.

Als alle spam gelijk zou zijn, en even makkelijk te filteren, zou dit alles met wat eenvoudige aanpassingen aan spamfilters af te weren zijn. Helaas is dat niet het geval; op spam is de 80/20-regel van toepassing: 80% van de spam is relatief eenvoudig te filteren; om de laatste 20% te filteren, moet echter veel meer moeite worden gedaan. Op die laatste 20% zelf is bovendien die regel ook weer van toepassing!

Dit principe is terug te zien in de grafiek; het lichtblauwe gedeelte (spam die ‘aan de poort’ wordt geweigerd op basis van DNS blacklists) neemt veruit het grootste deel van de filtering voor z’n rekening. XS4ALL weigert alleen al op deze manier tegenwoordig zo’n tien miljoen berichten per dag.

In absolute getallen groeit de 20% van spam waar ingewikkelder filters op los moeten worden gelaten tenminste zo hard als het totale spam-volume. Omdat spammers niet stil zitten, en nieuwe methodes ontwikkelen om spamfilters te omzeilen, stijgt ‘t in feite veel sneller.

Het gevolg is dat mailserver-beheerders niet alleen te maken krijgen met versnelde groei, maar met een exponentiele toename in de belasting van hun spamfilter-systemen. En een flink aantal - en niet de minsten - blijken daar niet op voorbereid. Het filteren van spam wordt steeds moeilijker, en kost steeds meer capaciteit. Anders gezegd: het wordt steeds moeilijker om te zorgen dat legitieme e-mail wel wordt afgeleverd.

De grafiek laat zien dat er deze week een lichte afname is in de hoeveelheid spam (en dus e-mail); laten we hopen dat dat de betrokken beheerders wat ademruimte geeft om hun capaciteit uit te breiden.

Die capaciteit is nodig. Een klein aantal criminelen is verantwoordelijk voor het grootste deel van al deze spam. Het kost de ontvangers veel meer dan die verzenders, en zolang er mensen zijn die ingaan op wat de spammers aanbieden, komt het einde niet in zicht.

Creative Commons License
Op deze tekst is een Creative Commons Licentie van toepassing.

Een bijdrage van Vincent Schönau

Vincent Schönau is Privacy Officer en spambestrijder bij XS4ALL.

Reacties

Commentaar is gesloten

  1. DWizzy 4 January, 2007 13:42:01

    Natuurlijk merk ook ik een geweldige toename in verstuurde spam en compexiteit waarmee filters worden omzeild. Maar ik kan me toch niet aan de indruk onttrekken dat XS4ALL minder effectief hier mee om kan gaan dan anderen. Gelukkig gaat de meeste mail die ik ontvang via mijn hosting provider, die met SpamAssassin 3.1.7 een hoop meer vindt dan de XS4ALL scanner. Zelfs bij “X-Spam-Status: Yes, score=19.2″ (5.0 nodig) krijg ik van XS4ALL vrolijk: “X-XS4ALL-Spam-Score: 1.7″

  2. Vincent Schönau 5 January, 2007 09:02:57

    De beste spamfilter-resultaten worden bereikt zo dicht mogelijk bij de verzender; het is niet verbazend dat het spamfilter van de hostingprovider het beter doet op doorgestuurde spam dan dat van XS4ALL. Ook al omdat onderdeel van de spamfilters van XS4ALL SpamAssassin is - sinds kort ook versie 3.1.7.

  3. tim 8 January, 2007 10:55:29

    lief van xs4all, dat xs4all zelf spammer is geworden:

    Jan 8 10:08:02 ebi spamd[92921]: (BLACK) 194.109.127.151: ->

    Jan 8 10:09:45 ebi spamd[92921]: 194.109.127.151: From: “Thomas”
    Jan 8 10:09:45 ebi spamd[92921]: 194.109.127.151: To:
    Jan 8 10:09:45 ebi spamd[92921]: 194.109.127.151: Subject: Any med for your girl to be happy!
    Jan 8 10:09:45 ebi spamd[92921]: 194.109.127.151: Body: This is a multi-part message in
    MIME format.

    194.109.127.151 staat op de becks lijst van spamd. geweldig. xs4all zegt alles te doen tegen spam, maar hun eigen servers staan wel op een spamd lijst. slim gedaan, hoor.

  4. Vincent Schönau 8 January, 2007 11:25:05

    Het genoemde ip-adres levert alle mail af aan klanten die bSMTP gebruiken (een eigen mailserver), en voor dergelijke klanten is het dus normaal dat ook spam door die ip-adressen wordt afgeleverd. Dat is hier vermoedelijk het geval. Ook voor bSMTP zijn spamfilters in te stellen in het Service Center. Misschien dat die spamfilters nog niet aanstaan?

    Tim is overigens niet de enige die, omdat-ie spam via deze servers ziet aankomen denkt dat ‘de server spamt’. Het is ook niet zo’n vreemde conclusie; want vrijwel alle mail is spam, zoals ik in het artikel schreef. Omdat in dit geval echter alle mail voor Tim via die servers zal lopen, is die conclusie wel onterecht.

  5. Bart van der Veer 10 January, 2007 01:38:22

    Is het niet eens tijd om het Email protocol ondersteboven te msijten en met iets totaal nieuws te komen ?
    We blijven achter de feiten aanhollen en als we zo doorgaan is Email over een paar jaar dood en lees je gewoon geen email meer.
    Er moet meer gebeuren aan whitelisten van IP adressen en de VERSTURENDE mailserver moet een ID check doen op de verstuurde mail. De ontvangende mail server moet gewoon geen mail aanpakken zonder een digitale handtekening van de versturende server. En die digitale handtekening kun je alleen krijgen op je gemeentehuis met je paspoort. Als je dannog mail verstuurd weet de ontvanger waar het tenminste vandaan komt.

  6. Niels Huijbregts 10 January, 2007 10:57:05

    @Bart van der Veer:
    Een van de belangrijkste nadelen van internet is dat je er een computer en een verbinding voor nodig hebt, wat grote delen van de menheid helaas nog steeds uitsluit. Jouw voorstel zou voor nog verdere uitsluiting zorgen: behalve een computer en een verbinding zou je nu ook nog een paspoort en een gemeentehuis nodighebben om te kunnen emailen. Dat staat haaks op het ideaal dat internet ervoor zorgt dat uiteindelijk de hele wereld op gelijke manier toegang heeft tot en gebruik kan maken van alle informatie.

    Een tweede nadeel van je voorstel is dat de overheid opeens kan bepalen wie wel en wie niet mag mailen. De verleiding zal voor sommige overheden al snel te groot worden om op die manier andersdenkenden de mond te snoeren. Als je email koppelt aan paspoort, koppel je daarmee indirect ook aan naam, ras, geslacht, etc. Zo zouden de Saudis een gemakkelijke manier hebben om te voorkomen dat hun vrouwen emailen (vrouwen mogen al bijzonder weinig daar) en zouden de Roemenen eenvoudig kunnen verhinderen dat hun Zigeueners zich op internet begeven (een Zigeunernaam is in Roemenië vrijwel zekere garantie op een hondenleven).

    Dat er een oplossing moet komen voor het spamprobleem, daar ben ik het wel mee eens. Misschien door herziening van het protocol. Misschien door strenger op te treden tegen spammende trojans op argeloze computers. Maar ook door door te gaan met het verfijnen van spamfilters en er minder over te zeuren: toen ik ruim 10 jaar geleden mijn eerste spamberichten ontving was ik daar werkelijk boos over: door mijn 28k8 modem duurde het een hele tijd voordat ik mijn mail binnen had. Het ontvangen van spam leidde daadwerkelijk tot kosten voor mij. Tegenwoordig zijn mijn verbinding en mijn schijfruimte zo dat ik nauwelijks meer iets merk van spam. Mijn computer wordt er niet trager van, mijn kosten niet hoger. Spam wordt door m’n emailclient netjes in een aparte box gefilterd en dat is dat. Vervelend misschien, maar overdrijf het niet. (Voor iemand als Vincent is dat een ander verhaal; hij heeft werkelijk met miljoenen spamberichten te maken)

    Als afsluiting verwijs ik graag naar een mooi verhaal van Joost Steins Bisschop, In memoriam: het ezeltje mail.

  7. Mark 11 January, 2007 13:59:40

    Verzoekje aan xs4all: Zijn er ook al grafieken beschikbaar die de overgang naar 2007 laten zien? Ik ben wel benieuwd of die zogenaamde afname in spam van 30% dan ook bij xs4all zichtbaar is….

  8. Vincent Schönau 11 January, 2007 17:14:30

    Er is wel een afname, dat klopt; ik heb helaas geen grafiekje dat dat duidelijk laat zien.

    Die afname brengt het totale volume terug tot het niveau van eind november; ik ben er wel van overtuigd dat het een tijdelijke ‘dip’ zal blijken te zijn, en we over een paar weken weer op record-volumes zullen zitten.

  9. Robert 15 January, 2007 18:50:12

    Die 80-20 regel geloof ik niet in, als ik kijk naar mijn situatie, krijg ik bij XS4ALL in drie dagen tijd 10 spamberichten in mijn inbox en 3 in mijn spambox….

  10. Vincent Schönau 15 January, 2007 19:33:42

    @Robert: je voorbeeld illustreert nu juist precies wat ik met die regel bedoel: het grootste deel van de spam die je zou krijgen zonder filters is gewoon ‘aan de poort’ tegengehouden. Dat is het lichtblauwe vlak in ‘t grafiekje.

    Het deel dat overblijft is veel moeilijker te filteren, en daar zijn de kansen op onterecht filteren het hoogst. Misschien dat Robert en andere XS4ALL-gebruikers tevredener zouden zijn over onze spamfilters als we die mail wel in de spambox zetten? De werkelijke hoeveelheid zou dan zichtbaarder worden.

    We proberen dat te vermijden, omdat ook in de spambox gezette spam nog doorgeploegd moet worden op eventuele false-positives. Op die manier is de overlast dus feitelijk veel minder beperkt.

  11. Alvara 18 January, 2007 13:22:32

    Ook ik krijg meer spam in mijn inbox dan in de spammap. Maar in beide gevallen krijg ik mail, die niet voor mij bestemd is: de geadresseerden hebben een volkomen andere achternaam dan ik, maar “toevallig” dezelfde voorletters. M.a.w.: ik krijg post, die voor iemand anders bestemd is en dus verkeerd is bezorgd. Kan dit niet worden afgevangen?

  12. Henk 20 January, 2007 23:49:33

    @Alvara
    Wat jij ziet is de brief die in de envelop zit. Op de envelop staat jouw
    adres. Dat er een brief in zit die aan iemand anders gesteld is, is volkome normaal. Ook bij gewone post krijgen mensen wel eens
    een afschrift van een brief aan een ander.

    Het afvangen is niet mogelijk omdat dat het Bcc gebruik onmogelijk zou maken.

  13. DWizzy 26 January, 2007 10:00:12

    het schijnt nu al weer mee te vallen, de afgelopen weken werd een groter percentage spam door de xs4all filters gevangen. Vooral het opvangen van plaatjesspam lijkt al weer beter te gaan :)

  14. Ray 31 January, 2007 19:10:23

    @Vincent,

    in de anti-spam wet van 2004 zijn er richtlijnen opgesteld voor ongevraagde emails naar particulieren. Het versturen van dit soort mails naar zakelijke adressen is dus bij wet toegestaan. Waarom wijkt xs4all hier vanaf in haar algemene voorwaarden?

    Het is heel gebruikelijk om zakelijke adressen voor mailing doeleinden, hetzij per post hetzij per email, aan te schaffen (www.adhocdata.nl). Wat xs4all betreft mag ik naar die adressen wel een brief of aanbieding per post versturen maar niet per email. Ik vind het merkwaardig dat TNT rustig alles verstuurd wat ik aanbied maar dat xs4all bepaalt dat ik dat niet in bulk mag doen.

    Ray

  15. Vincent Schönau 1 February, 2007 11:17:31

    De internet-gemeenschap definieert spam als ‘ongevraagde bulk e-mail’. Er is geen zinvol onderscheid te maken tussen ‘zakelijke’ adressen en ‘particuliere’ adressen, omdat e-mail adressen niet als zodanig herkenbaar zijn.

    Bovendien gelden alle bezwaren tegen spam in dezelfde mate voor adressen die als zakelijk te bestempelen zijn.

    Er is dan ook geen enkele reden om zakelijke adressen niet te beschermen tegen spam - of dat nu gaat om spam voor valse medicijnen of horloges, of aandelenoplichting of “multi-level-marketing” en piramide-spellen. Dat vindt de wetgever overigens ook; een komende wijziging van de telecomwet gaat spam ook aan zakelijke adressen verbieden.

    Dat standpunt heeft XS4ALL al jaren (net als de meeste andere providers), ook al lang voor de invoering van het spamverbod in 2004. Meer daarover is te lezen op de XS4ALL website. Het is een uitgebreid onderwerp op zichzelf.

  16. Peter Neuteboom 13 June, 2007 15:12:30

    Ik krijg tegenwoordig meer spam dan reguliere mails en de mails die ik krijg zijn van een beperkte groep vaak bekende afzenders, volgens mij geldt dit voor een groot deel van de internetgebruikers. Dus waarom geen (optionele) black list (als tegenhanger van de green list) ? Per definitie all inkomende mail op de blacklist (spambox). De gebruiker kan dan zelf aangeven of mail van een betreffende provider of afzender naar een greenlist mag.