The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Доступна система фильтрации спама Rspamd 1.9

12.03.2019 23:19

Состоялся релиз системы фильтрации спама Rspamd 1.9, предоставляющей средства для оценки сообщений по различным критериям, включая правила, статистические методы и чёрные списки, на основе которых формируется итоговый вес сообщения, используемый для принятия решения о необходимости блокировки. Rspamd поддерживает практически все возможности, реализованные в SpamAssassin, и имеет ряд особенностей, позволяющих фильтровать почту в среднем в 10 раз быстрее, чем SpamAssassin, а также обеспечивать лучшее качество фильтрации. Код системы написан на языке Си и распространяется под лицензией Apache 2.0.

Rspamd построен с использованием событийно-ориентированной архитектуры (Event-driven) и изначально рассчитан на применение в высоконагруженных системах, позволяя обрабатывать сотни сообщений в секунду. Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua. Расширение функциональности и добавление новых типов проверок реализуется через модули, которые могут создаваться на языках Си и Lua. Например, доступны модули для проверки отправителя с использованием SPF, подтверждения домена отправителя через DKIM, формирования запросов в списки DNSBL. Для упрощения настройки, создания правил и отслеживания статистики предоставляется административный web-интерфейс.

Основные новшества:

  • В состав включён модуль External Services для взаимодействия с внешними сервисами, позволяющий обращаться к сторонним фильтрам контента и системам сканирования вирусов при помощи протокола ICAP (Internet Content Adaptation Protocol). Поддерживается интеграция с ClamAV (через c-icap и squidclamav), Sophos (через SAVDI), Symantec Protection Engine for Cloud Services и Kaspersky Web Traffic Security 6.0. Возможно прямое использование фильтров DCC и VadeSecure, а также анализ OLE и файлов MS Office при помощи Python-модуля oletools;
  • Добавлена новая команда "mime modify", позволяющая вносить изменения в сообщения, в том числе добавлять или удалять заголовки, прикреплять футеры к HTML и текстовым частям, переделывать тему письма. Например, для добавления текста из файлов footer.txt и footer.html и добавлении к заголовку слова "TEST" можно выполнить команду 'rspamadm mime modify --text-footer=footer.txt --html-footer=footer.html --rewrite-header="Subject=TEST: %s"'. Имеется полноценная поддержка MIME, multipart-сообщений с вложениями, разных кодировок, исключения подписанных и зашифрованных сообщений;
  • Добавлена новая команда "sign", позволяющая добавлять к сообщениям DKIM-подписи с использованием указанного закрытого ключа. В сочетании с "mime modify" новая команда позволяет автоматизировать добавление цифровой подписи к сообщениям, генерируемым списками рассылки или локальными скриптами;
  • В HTTP-клиент на языке Lua добавлена поддержка HTTP Keep-Alive, позволяющего оптимизировать обработку повторяющихся обращений к определённым внешним сервисам;
  • Реализован новый клиент на языке Lua, позволяющий отправлять запросы по протоколу UDP;
  • Улучшен код для нормализации символов Unicode и выявления аномалий;
  • Добавлена утилита "rspamadm configgraph" для визуализации конфигурации в форме графа (для построения графа используется graphviz);
  • В дополнение к встроенным обработчикам (discard, reject, rewrite subject, add header и т.п.) появилась возможность определения произвольных действий со своим порогом срабатывания;
  • Предложен новый парсер заголовков "Received", который поддерживает в том числе разбор заголовков "Received, не соответствующих требованиям RFC;
  • Добавлена поддержка URL-схемы "tel:", применяемой для указания ссылок на телефонные номера. Новая возможность может быть использован для создания чёрных списков телефонных номеров, используемых в спаме и фишинге;
  • Добавлена поддержка цифровых подписей DKIM на базе ED25519. Для генерации ключей для ED25519 следует использовать команду "rspamadm dkim_keygen -t ed25519";
  • Добавлена возможность определения собственных функций на языке Lua, расширяющих возможности модуля Regexp;
  • Добавлена поддержка чтения файлов из архивов gzip, что позволяет создавать фильтры для блокирования писем с прикреплёнными бэкдорами и майнерами;
  • Реализован расширенный метод определения типов почтовых вложений, позволяющий использовать libmagic для выявления истинного типа вложений, независимо от содержимого заголовка "Content-Type".


  1. Главная ссылка к новости (https://rspamd.com/announce/20...)
  2. OpenNews: Доступна система фильтрации спама Rspamd 1.8
  3. OpenNews: Выпуск системы фильтрации спама SpamAssassin 3.4.2
  4. OpenNews: Доступна система фильтрации спама Rspamd 1.7
  5. OpenNews: В рамках проекта Spamnesty развивается бот для увеличения затрат спамеров
  6. OpenNews: Увидел свет Apache SpamAssassin 3.4.0
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/50304-spam
Ключевые слова: spam, rspamd
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (37) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 23:26, 12/03/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Пользую, спасибо автору за такую систему.
     
     
  • 2.6, erthink (ok), 01:04, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Вселоводу респект!
     

  • 1.2, Аноним (2), 23:45, 12/03/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Спасибо вам антиспам система!
     
  • 1.5, Аноним (5), 00:58, 13/03/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –17 +/
    >Правила для выявления признаков спама отличаются высокой гибкостью и в простейшем виде могут содержать регулярные выражения, а в более сложных ситуациях могут оформляться на языке Lua.

    Сразу на ..й. Потому что антиспам берут не для того, чтобы правила писать, а для того, чтобы система полностью автоматически отсеивала спам маши6ным обучением. Потому что посмотреть спам проще и быстрее, чем правила писать.

     
     
  • 2.8, НеАноним (?), 03:01, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Бойцы!
    Учите матчасть и поголовью юзверей будет счастье!
    Даже если вы само юзверьё, обучение возвысит вас!
    В конце концов, когда-нибудь, так или иначе. :)
    Написано ведь всё, или религия не позволяет документацию читать?

    https://rspamd.com/doc/configuration/statistic.html

     
     
  • 3.18, Аноним (5), 08:45, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >The overall algorithm is based on Bayesian theorem

    Для начала нулевых, может быть, и сошло бы. От 10х-20х ожидаешь LSTM и word embedding.

     

  • 1.7, mistiq (?), 02:49, 13/03/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –4 +/
    За использование механизмов DNSBL и прочих BL в 2019м году, администраторам почтовых серверов надо монтировкой ломать руки и ноги с особой жестокостью.
     
     
  • 2.10, zurapa (ok), 05:10, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А можно по подробней почему такое нововведение? Чем насолили эти прекрасные инструменты? (Это не стёб, я серьёзно)
     
     
  • 3.14, пох (?), 08:07, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • –4 +/
    например, не умеют отличать корпоративный спам когда лох сам ставит галочку от... большой текст свёрнут, показать
     
     
  • 4.19, phaoost (ok), 08:48, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    То есть вы рассылаете спам и удивляетесь что попадаете в dnsbl?
    И что же это за админ такой что не следит за чистотой адресов MX и ставит его на мигрирующий ип? Я так понимаю о совпадении A и PTR в данном случае речь не идёт? за rfc1912 тоже руки ломать?

     
  • 4.39, None (??), 23:33, 14/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Поэтому умные люди для маркетинговых рассылок и для нормальных писем используют разные релеи.
    А вот насчёт вылета надо всё же не жлобить копейки, а использовать SMS - почта не для этого вообще.
     
     
  • 5.40, Аноним (40), 14:15, 15/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    которые сейчас по 1.5-2 рубля? Мы в месяц на осовещения тратим по 150-180к посчитайте сколько это в год. Очень неплохая сумма выходит. А скидки подписыны примерно 40к клиентов скидки 2 раза в месяц.
    Мы еще примерное 120к должны занести оператору. Но самое ахринительное что сетевой нейтральности нет в плане смс. Мы конечно решили технические проблемы этого плана но взаимодействовать с 4 оператами не очень комфортно. Поэтому начали переводить часть клиентов на альтернативные каналы. Но это  viber/whatsapp/tg/mail
     
  • 2.13, пох (?), 07:59, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +5 +/
    > За использование механизмов DNSBL и прочих BL в 2019м году

    точно так же как и в 2000м, использовать можно и нужно, поскольку васян-хост, с которого массово  гадили раньше - непременно нагадит и в будущем.
    Это, дружок, называется "репутация".

    И ценность ее гораздо выше, чем попытки угадава по содержимому. Которые и у человека-то не всегда срабатывают, и даже с бумажной почтой не всегда (и летит в помойку неузнанная плажетка, слишком изобильно угаженная рекламой)

    другое дело, что этот критерий нельзя использовать для васян-конфигураций, рвущих сессию без приема письма, поскольку "непременно нагадит" не означает что с него и нормальная почта не может приходить. Может. Хотя и маловероятно. Но вот добавить на этом основании spam score, и при совпадении еще и нескольких других критериев отправить в папку "spam" - вполне себе работающая и по сей день идея.

     
     
  • 3.16, Georges (ok), 08:39, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    DNSBL Часто используют так: если ваш ip попал в определённый dnsbl, то письмо отвергается и отправитель получает возврат. А попасть в dnsbl можно если на вашем сайте зарегистрировался кто-то используя email ловушку.
     
     
  • 4.23, пох (?), 11:12, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > DNSBL Часто используют так

    ну вот за это да - не конечности ломать, а сразу отрывать голову - там все равно кость.
    к сожалению, ЭТО еще и размножаться умеет.

     
  • 2.15, phaoost (ok), 08:33, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    что не так с DNSBL?
     
  • 2.17, Аноним (5), 08:42, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Гордон, это вы?
     
  • 2.20, Docent (??), 09:19, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Поддерживаю.
    По крайней мере, в том виде, в каком они сейчас существуют - это больше зло, чем польза.
    На днях мой сервер тоже попал в один такй BL (Blacklisted by BACKSCATTERER).
    На их сайте написано, что с моего сервера в такое-то время были подозрительные письма.
    Я посмотрел логи - в это время +- 10 минут с моего сервера не было отправлено ни одного письма, только два спама пришло.
    Записи из BL сами удаляются не раньше, чем через 4 недели, а если хотите сразу - заплатите 99$.
    Рэкет в чистом виде.

    Я уже подумываю, может создать свой BL и случайным образом добавлять в него разные почтовые сервера, а потом за бабки из списка вычеркивать. На пенсию должно хватить.

     
     
  • 3.21, phaoost (ok), 09:37, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Вы хоть разобрались по каким критериям туда попадают? Туда не за письма попадают а за баунсы и коллауты
     
  • 3.24, пох (?), 11:14, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Я уже подумываю, может создать свой BL и случайным образом добавлять в него разные почтовые
    > сервера, а потом за бабки из списка вычеркивать.

    о, отличная бизнес-идея.

    > На пенсию должно хватить.

    но могут отп...ть :-(

     
  • 3.43, zurapa (ok), 08:29, 20/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >[оверквотинг удален]
    > На их сайте написано, что с моего сервера в такое-то время были
    > подозрительные письма.
    > Я посмотрел логи - в это время +- 10 минут с моего
    > сервера не было отправлено ни одного письма, только два спама пришло.
    > Записи из BL сами удаляются не раньше, чем через 4 недели, а
    > если хотите сразу - заплатите 99$.
    > Рэкет в чистом виде.
    > Я уже подумываю, может создать свой BL и случайным образом добавлять в
    > него разные почтовые сервера, а потом за бабки из списка вычеркивать.
    > На пенсию должно хватить.

    А не возникала желания сменить хостера?.. А надо бы. Почему вы не видите очевыдные решения ваших проблем?

     
  • 2.36, cat666 (ok), 20:10, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой. Приходится раз в месяц проходится по листам DNSBL. Причины попадания в данные листы не поддаются никакому пониманию, сначала искал вирусы, трояны, рассылающие спам и раз за разом ничего не находил, потому всё понял и забил. Зачастую не можем отправить почту из-за того что админ на использует ну уж очень специфический список из которого хрен себя выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе представляют видимо ещё не наигрались.
     
     
  • 3.37, phaoost (ok), 22:05, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой.
    > Приходится раз в месяц проходится по листам DNSBL.

    Ну и зачем так страдать? Раз в сутки скрипт проходит, смотрит все ипы по множеству блэклистов

    > Зачастую не можем отправить почту из-за того что админ
    > на использует ну уж очень специфический список из которого хрен себя
    > выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе
    > представляют видимо ещё не наигрались.

    Зато спама почти нет, юзаю только zen.spamhaus.org - много лет и без нареканий

     
  • 3.44, zurapa (ok), 08:36, 20/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Присоединяюсь, надо отрывать не только руки, но и ноги вместе с головой.
    > Приходится раз в месяц проходится по листам DNSBL. Причины попадания в
    > данные листы не поддаются никакому пониманию, сначала искал вирусы, трояны, рассылающие
    > спам и раз за разом ничего не находил, потому всё понял
    > и забил. Зачастую не можем отправить почту из-за того что админ
    > на использует ну уж очень специфический список из которого хрен себя
    > выпилишь. ЗЫ: Умники, которые рвут одно место за DNSBL слабо себе
    > представляют видимо ещё не наигрались.

    Вы видимо из тех, кто рассылает и думает только о себе. А попробуйте попринимать почту. Так чтобы в конторке "Рога и Копыта" из пяти человек и ящиком на gmail - одним.

    Это вы видимо недавно в индустрии, поэтому смотрите на проблему только со своего угла. Поменяйте хостера с формулировкой ваша подсеть неблагонадёжная меня везде блокируют по ip-адресу, а я ещё не успел начадать слать. И если добрая половина так сделает, вот увидите, как начнёт всё меняться.

    Не пробовали так делать? А в IT, как в жизни - те же законы работают. Пока шпану не начнёшь палкой гонять, она у тебя в подъезде будет ссать - хоть всю стену заклей словами "Не ссыте в подъезде!"

     

  • 1.22, Онанимус (?), 10:07, 13/03/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Огромное спасибо! Использую и не нарадуюсь!
     
  • 1.26, Anon_Erohin (?), 12:45, 13/03/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    Извините, но держать подобный проект на GitHub от мелкомягких сейчас в 2019 это уже считается моветоном и относительно опасным занятием. Есть же GitLab.
     
     
  • 2.27, Аноним (27), 14:24, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ты так скозал?
     
     
  • 3.28, Anon_Erohin (?), 14:45, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Приведи хоть один довод в пользу мелкомягкого гитхаба против гитлаба.
     
     
  • 4.34, Ordu (ok), 17:29, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ты не понял. Доводы нужны для того, чтобы обосновать геморрои связанные с миграцией. А для того, чтобы не мигрировать, доводы не нужны.
     
  • 2.29, Аноним (29), 17:05, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    GitLab это больше про боль разработчика через их вебинтерфейс.
     
     
  • 3.31, Аноним (29), 17:09, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Я конечно про их глючную и тормозную SaaS версию GitLab
     
  • 3.32, Anon_Erohin (?), 17:19, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Вести проект через веб интерфейс, вы серьезно? Вы знаете что такое гит, его команды и т.д. и .т.п?
     
     
  • 4.35, Ordu (ok), 17:31, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Проект требует коммуникации. Как между разработчиками, так и между разработчиками и остальным миром. У gitlab'а с этим проблемы: я тут пытался там зарегаться, у меня не вышло, на форуме мне порекомендовали сменить фф на что-нибудь другое. Пускай сами gitlab на github меняют, делать мне вот больше нечего, кроме как из-за багрепорта или мелкого патча выяснять, какие там браузеры кроме фф существуют.
     
  • 2.30, Аноним (29), 17:07, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Gitea можно использовать только для бэкап мирроринга. GitHub удобен для комьюнити и разработчика.
     
     
  • 3.33, Anon_Erohin (?), 17:20, 13/03/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ГитХаб - бомба замедленного действия от Мелкософта. Они могут безпрепятственно красть инфу пользвоателей, вшивать бекдоры и тому подобные штуки. Запомните, они подконтрольны АНБ, это все что нужно знать о мелкософте и гитхабе сейчас.
     
     
  • 4.38, Аноним (40), 09:52, 14/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем использовать для этого ГитХаб, когда есть 10 где всё реализовано уже.
     
  • 4.41, Vitaliy Blats (?), 21:02, 17/03/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > ГитХаб - бомба замедленного действия от Мелкософта.

    Мелкософт сделал для попенсорса поболее чем ты. Покайся.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру