www.liukuma.net

On ollut ihan mielenkiintoista seurata muutaman viime vuoden aja roskapostittajien kolkuttelua serverin porteille. Yrittäjiä ja yritystä kyllä riittää, mutta tuntuu että suurimmalla osalla yrittäjistä onneksi konstit ovat aika vähäiset.

Spämmin torjunta ei kuitenkaan ole ollut kaikkineen hirvittävän nopea prosessi, vaan aikaa on kulunut hyvien sääntöjen hakuun ja käyttöönottoon - tärkeintähän kuitenkin on että asiallinen posti tulee perille.

Torjunnassa on jo pitkään ollut käytössä muutamia tekniikoita ja samoja tekniikoita on sovellettu tämänkin serverin spämminestossa. Harmaalistaus tuntuu olevan tällä hetkellä muodikkain torjuntatapa, joka perustuu siihen, että muutamalla ensimmäisellä yhteyskerralla lähettävälle koneelle ilmoitetaan postipalvelimen olevan kiireinen ja lähettämään posti hetken kuluttua uudelleen. Tämän menetelmän puolestapuhujat saarnaavat sen puolesta, että sähköpostia ei olekaan tarkoitettu reaaliaikaiseksi kommunikointitavaksi ja että spämmerit eivät ole muutamaan vuoteen keksineet tätä torjuntatapaa. Valitettavasti tilanne on muuttunut, koska harmaalistaus on menetelmänä lopulta aivan liian helppo fuulata ottamaan spämmiä vastaan - Samaten kuin roskapostia lähettävät systeemit on triviaalia muuttaa lähettämään postit uudelleen. Ja kuten aikaisemmin annettiin ymmärtää, harmaalistaus hidastaa postinkulkua.

Itselläni postin suodatuksessa tärkeimpänä johtolankana on ollut mahdollisimman monen roskapostin suodattaminen jo MTA:ssa, joka tässä tapauksessa on Postfix. Spamassassin ynnä muut raakaan prosessoritehoon perustuvat menetelmät ovat kyllä tehokkaita mutta monikäyttöpalvelimella niiden aiheuttama kuormitus tulisi olemaan liian suuri - Olettaen että kaikki postit suodatettaisiin niiden avulla. Tällä hetkellä Postfix suodattaa roskapostista pois noin 90% ja roskapostia on palvelimemme päivittäisestä liikenteestä noin 50-60%.

Postfixista posti ohjataan Amavis-new/Spamassassin-yhdistelmälle, joka suodattaa kohtuullisella tarkkudella melkein kaiken lopun roskapostiliikenteen, vaikkakin tällä hetkellä bayes-säännöstöt eivät vielä ole toiminnassa, spämmiä tihkuu systeemiin sisään analysoitavaksi huomattavan vähän :)

Kaikkineen nykyinen järjestelmä tuntuu toimivan, mutta ohessa pikkuisen statistiikkaa millaisista luvuista tämän pikku purkin kanssa on kysymys:

Grand Totals
------------
messages

    280   received
    563   delivered
      0   forwarded
      0   deferred
      2   bounced
    405   rejected (41%)
      0   reject warnings
      0   held
      0   discarded (0%)

   1659k  bytes received
   3444k  bytes delivered
    106   senders
     54   sending hosts/domains
     19   recipients
      6   recipient hosts/domains

Koneessa on 2 "erillistä" Postfix-palvelinta, joiden välillä Spamassassin tekee suodatuksen. Tästä johtuen saapuneiden postien määrä on noin puolet välitetyn postin määrästä (jostain syystä toisen Postfix-instanssin on pakko tunkea omaa dataansa postilogiin, vaikka se on määritelty viemään se jonnekin aivan muualle...) Tälle päivälle siis jo alussa suodatettua postia on 405 687:stä, eli noin 59% kaikesta postiliikenteestä.

Per-Hour Traffic Summary
    time          received  delivered   deferred    bounced     rejected
    --------------------------------------------------------------------
    0000-0100          12         24          0          0          5 
    0100-0200          11         22          0          0         12 
    0200-0300          14         28          0          0          8 
    0300-0400          16         32          0          0         10 
    0400-0500          17         33          0          2         21 
    0500-0600           5         10          0          0         22 
    0600-0700           2          4          0          0         22 
    0700-0800           3          6          0          0         11 
    0800-0900           7         14          0          0         23 
    0900-1000          15         30          0          0         11 
    1000-1100           7         14          0          0         23 
    1100-1200          14         28          0          0         11 
    1200-1300          18         36          0          0          8 
    1300-1400          10         20          0          0         11 
    1400-1500          19         38          0          0         24 
    1500-1600           8         16          0          0         27 
    1600-1700          11         22          0          0         18 
    1700-1800          23         46          0          0         44 
    1800-1900          14         36          0          0         10 
    1900-2000           8         16          0          0         16 
    2000-2100           8         16          0          0         18 
    2100-2200           6         12          0          0          6 
    2200-2300          14         28          0          0         13 
    2300-2400          18         32          0          0         31

Ja päivän jakelumäärät tunneittain - jälleen jaettu posti on 2 kertaa saapunut, johtuen tuplalogituksesta.

message reject detail
---------------------
  RCPT
    Helo command rejected: Invalid name (total: 311)
          18   vtr.net
          11   ocn.ne.jp
           9   hinet.net
           7   lsc.net.tw
           5   virtua.com.br
           5   blueyonder.co.uk
           4   163data.com.cn
           4   ctc.net
           3   125.7.193.6
           3   218.50.134.36
           2   58.225.130.3
           2   ajato.com.br

...

Eli 311 postia on hylätty viallisen nimen vuoksi. Viallisia nimiä ovat käytännössä ainostaan spämmereiden käyttämät -123513516 -tyyppiset lähettävän koneen nimeksi postin otsikoissa merkityt, taikka muuten RFC:itten vastaiset nimet. Näitä ei muuten tahmasormisin Loonix-käyttäjäkään onnistu omalle koneelleen asettamaan väärin, eli kyseessä on tahalisesti tehty nimivirhe...

Helo command rejected: You are not 62.220.235.15 (total: 3)
           1   219.232.226.17
           1   219.241.209.23
           1   220.125.168.75

Sitten meillä on nämä idiootit jotka olettavat, että asettamalla postin otsakkeissa lähettävän koneen IP-numeron samaksi kuin vastaanottavan koneen IP-numero on posti hyväksytään automaattisesti... You wish!

    Helo command rejected: You are not www.liukuma.net (total: 1)
           1   222.122.12.123

Taikka väittämällä että lähettävän koneen nimi on vastaanottavan koneen nimi, *huoh*

    Sender address rejected: Domain not found (total: 3)
           1   Edna.Olaru@aecompliance.com
           1   MusanLindfors@autoexpopune.com
           1   roxiyyfgabj@net.il

Sitten, lähettäjän osoitteet, joissa lähettävää domainia ei ole olemassakaan. Kyseessä voi olla inhimillinen virhe, mutta siinä tapauksessa lähettäjä varmasti myös korjaa virheen huomatessaan, että lähetettyyn postiin ei tule vastauksia ja tuttavapiiri kertoo että vastaukset posteihin pomppaavat takaisin.

    blocked using dynablock.njabl.org (total: 31)
           7   c-870471d5.019-61-68617010.cust.bredbandsbolaget.se
           5   comcast.net
           2   183-70-238.ip.adsl.hu
           2   c100244.upc-c.chello.nl
           2   ppp91-76-99-96.pppoe.mtu-net.ru
           1   85.99.71.122
           1   88.254.110.141
           1   btcentralplus.com
           1   pD95D15F7.dip0.t-ipconnect.de
           1   ABayonne-151-1-41-29.w81-250.abo.wanadoo.fr

Joidenkin lähteiden mukaan dynaamisten osoiteblokkien mustalista on epätarkka - tähän mennessä harhaosumia ei ole tullut ja lista on ollut meillä käytössä parisen vuotta...

    blocked using sbl-xbl.spamhaus.org (total: 49)
          10   202.109.187.122
           4   fastres.net
           2   mchsi.com
           2   comcast.net
           2   evrocom.net
           2   202.70.73.74
           1   80.50.247.114

Ja spamhaus blokkaa loput - Käytössä on kolmaskin musta lista, mutta sinne tulee osumia harvakseltaan, johtuen lähinnä spamhausin tarkkuudesta.

Sitten Amaviksen statistiikkaan:

Totals:
-------   306 : Mails
 thereof
     0 : INFECTED
     0 : SPAM Blocked
    31 : SPAM Tagged
   275 : clean

ELi noin kolmestasadasta tulleesta viestistä 10% on vielä Spamassassinin mielestä roskapostia. Joitain virheosumia on tullut, mutta monet niistä ovat johtuneet pieleen konfiguroiduista SPF-tunnisteista, jotka antavat heti 10 pistettä spämmiarvoon lisää.

 Average Score
 SPAM Tagged : 13.63

 MAX Blocked score : -1000.00
 MIN Blocked score : 1000.00

 MAX Tagged score : 33.68
 MIN Tagged score :  5.60

 Scores of Blocked Spam
 Score : Count
 -------------

Politiikkana on tässä vaiheessa enää merkitä roskaposti ***SPAM*** tunnisteella. Parempi viedä posti perille koska nyt kaikki saapunut posti voi olla laillista. Eli posti merkitään muttei blokata. Käyttäjät voivat halutessaan siirtää sitten merkityn postin roskapostikansiionsa tms.

 Bayes Tests in Spammails
 probability : count
 -------------------
 00 :  0
 05 :  0
 20 :  0
 40 :  0
 50 :  0
 60 :  0
 80 :  0
 95 :  0
 99 :  0

 Bayes Tests in Hammails
 probability : count
 -------------------
 00 :  0
 05 :  0
 20 :  0
 40 :  0
 50 :  0
 60 :  0
 80 :  0
 95 :  0
 99 :  0

Bayes ei vielä ole toiminnassa, johtuen spämmiesimerkkien vähäisestä määrästä :)

Timings
------- Seconds total: 835.65
 Minutes total: 13.93
 Seconds per Mail: 2.73
 Seconds for Infected Mails: 0.00
 Seconds for Blocked Spam: 0.00
 Seconds for Tagged Spam: 114.29
 Seconds per Tagged Spam: 3.69
 Total size of messages (mb) 0.00

Ranking of Tests in Blocked Spam:
---------------------------------  (all 0)

Ranking of Tests in Tagged Spam:
--------------------------------  (all 72)
   % 100.0  31 : DK_POLICY_SIGNSOME=0.001
   % 83.9  26 : RAZOR2_CF_RANGE_51_100=0.5
   % 83.9  26 : RAZOR2_CHECK=2.5
   % 77.4  24 : HTML_MESSAGE=0.001
   % 58.1  18 : RAZOR2_CF_RANGE_E8_51_100=1.5
   % 41.9  13 : URIBL_JP_SURBL=3.36
   % 41.9  13 : RAZOR2_CF_RANGE_E4_51_100=1.5
   % 35.5  11 : URIBL_OB_SURBL=2.617
   % 35.5  11 : URIBL_SBL=1.094
   % 29.0  9 : URIBL_SC_SURBL=3.6
   % 25.8  8 : URIBL_AB_SURBL=3.306
   % 22.6  7 : MIME_HTML_ONLY=0.001
   % 19.4  6 : UPPERCASE_75_100=1.04
   % 19.4  6 : DRUGS_ERECTILE=0.1
   % 19.4  6 : URIBL_WS_SURBL=1.533
   % 19.4  6 : DATE_IN_PAST_06_12=0.746
   % 16.1  5 : UNPARSEABLE_RELAY=0.001
   % 12.9  4 : RCVD_FORGED_WROTE=2.8
   % 12.9  4 : URIBL_BLACK=3
   % 12.9  4 : DATE_IN_FUTURE_03_06=2.007
   % 9.7  3 : STOCK_IMG_HDR_FROM=1
   % 9.7  3 : PART_CID_STOCK=1
   % 9.7  3 : DATE_IN_PAST_12_24=0.881
   % 9.7  3 : ALL_TRUSTED=-1.44
   % 9.7  3 : SPF_SOFTFAIL=1.47
   % 9.7  3 : HTML_IMAGE_ONLY_16=0.627
   % 9.7  3 : SUBJ_ALL_CAPS=1.166
   % 9.7  3 : TVD_FW_GRAPHIC_ID1=2.1
   % 9.7  3 : SPF_HELO_PASS=-0.001
   % 9.7  3 : STOCK_IMG_HTML=1
   % 9.7  3 : SUBJECT_DRUG_GAP_C=1.035
   % 9.7  3 : DATE_IN_FUTURE_12_24=2.316
   % 6.5  2 : SARE_HELO_EQ_DSL_3=1.022
   % 6.5  2 : RCVD_NUMERIC_HELO=1.253
   % 6.5  2 : HELO_DYNAMIC_SPLIT_IP=2.88
   % 6.5  2 : EXTRA_MPART_TYPE=0.815
   % 6.5  2 : NO_REAL_NAME=0.55
   % 3.2  1 : MIME_8BIT_HEADER=0.3
   % 3.2  1 : J_CHICKENPOX_43=0.6
   % 3.2  1 : URI_UNSUBSCRIBE=2.069
   % 3.2  1 : SARE_OBFU_VIAGRA_POX=1.666
   % 3.2  1 : HTML_OBFUSCATE_05_10=1.169
   % 3.2  1 : MANGLED_PILL=2.3
   % 3.2  1 : J_CHICKENPOX_45=0.6
   % 3.2  1 : SARE_HTML_URI_OUTPHP=0.907
   % 3.2  1 : HELO_DYNAMIC_HCC=3.28
   % 3.2  1 : J_CHICKENPOX_14=0.6
   % 3.2  1 : SPF_FAIL=10
   % 3.2  1 : HTML_MIME_NO_HTML_TAG=0.512
   % 3.2  1 : HELO_DYNAMIC_IPADDR2=3.213
   % 3.2  1 : HELO_DYNAMIC_IPADDR=3.36
   % 3.2  1 : MANGLED_PRICE=2.3
   % 3.2  1 : J_CHICKENPOX_72=0.6
   % 3.2  1 : HTML_SHORT_LINK_IMG_2=0.951
   % 3.2  1 : MPART_ALT_DIFF=0.137
   % 3.2  1 : SARE_OBFU_PRICE2=1.666
   % 3.2  1 : MIME_HTML_MOSTLY=0.699
   % 3.2  1 : MANGLED_LIMITD=2.3
   % 3.2  1 : INVALID_MSGID=1.71
   % 3.2  1 : J_CHICKENPOX_33=0.6
   % 3.2  1 : MANGLED_VIAGRA=2.5
   % 3.2  1 : FROM_LOCAL_NOVOWEL=2.331
   % 3.2  1 : DRUGS_ERECTILE_OBFU=2.046
   % 3.2  1 : J_CHICKENPOX_35=0.6
   % 3.2  1 : HTML_IMAGE_ONLY_28=1.014
   % 3.2  1 : UPPERCASE_25_50=0
   % 3.2  1 : J_CHICKENPOX_55=0.6
   % 3.2  1 : J_CHICKENPOX_16=0.6
   % 3.2  1 : PLING_QUERY=0.326
   % 3.2  1 : J_CHICKENPOX_27=0.6
   % 3.2  1 : SARE_HTML_URI_LHOST31=1.666
   % 3.2  1 : FAKE_OUTBLAZE_RCVD=2.48

Spam by Recipient:
------------------  (all 0)

near-spam by Recipient:
-----------------------  (all 6)
    15: xxx@liukuma.net
     6 : yyy@liukuma.net
     5 : zzz@swagman.org
     3 : vvv@liukuma.net
     1 : www@swagman.org
     1 : diibadaa@liukuma.net

Eli tällainen päivä Puukon tilalla tällä kertaa...

ARTTU PERKELE!