За последние десятилетия электронная почта стала таким же привычным средством общения, как и телефон. Поэтому не секрет, что количество электронных сообщений очень часто значительно превышает количество телефонных звонков. Однако распространяемая вместе с электронными письмами вредоносная информация, прежде всего вирусы и спам, нарушают нормальную работу корпоративной почтовой системы.
Огромное количество бесполезных сообщений наносит очевидный вред как получателям, так и интернет-провайдерам. В первую очередь - это временные затраты, а также повышение бесполезной нагрузки на каналы и оборудование.
Очевидно, что спам приносит экономическую выгоду его заказчикам. Это означает, что пользователи, несмотря на неприязнь к спаму, всё-таки пользуются рекламируемыми посредством спама услугами. До тех пор, пока отдача от спама превышает затраты на преодоление защиты, спам не исчезнет. Таким образом, самым надёжным способом борьбы является отказ от услуг, рекламируемых посредством спама. Встречаются предложения о применении общественного осуждения, вплоть до прекращения общения, против лиц, покупающих рекламируемые спамом товары и услуги.
Другие способы направлены на затруднение спамерам доступа к пользователям.
Самый надёжный способ борьбы со спамом – не позволить спамерам узнать электронный адрес. Это трудная задача, но некоторые меры предосторожности можно предпринять. На нашем сайте в разделе "О почте" вы можете узнать о простейших способах защиты от спама.
Фильтрация
Поскольку рекламные письма, как правило, сильно отличаются от обычной корреспонденции, распространённым методом борьбы с ними стало отсеивание их из входящего потока почты. На настоящее время этот метод – основной и наиболее широко используемый.
Автоматическая фильтрация
Существует программное обеспечение (ПО) для автоматического определения спама (т. н. спам-фильтры). Оно может быть предназначено для конечных пользователей или для использования на серверах. Это ПО использует два основных подхода.
Первый заключается в том, что анализируется содержание письма и делается вывод, спам это или нет. Письмо, классифицированое как спам, отделяется от прочей корреспонденции: оно может быть помечено, перемещено в другую папку, удалено. Такое ПО может работать как на сервере, так и на компьютере клиента. В последнем случае пользователь не видит отфильтрованного спама, но продолжает нести издержки, связанные с его приемом, так как фильтрующее ПО получает каждое письмо и только потом решает, показывать его или нет. С другой стороны, если ПО работает на сервере, пользователь не несёт издержек по передаче его на свой компьютер.
Второй подход заключается в том, чтобы, применяя различные методы, опознать отправителя как спамера, не заглядывая в текст письма. Это ПО может работать только на сервере, который непосредственно принимает письма. При таком подходе дополнительный трафик тратится только сервером на общение со спамерскими почтовыми программами (т. е. на отказы принимать письма) и обращения к другим серверам (если таковые нужны) при проверке.
Ещё одна проблема автоматической фильтрации в том, что она может по ошибке отмечать как спам полезные сообщения. Поэтому многие почтовые сервисы и программы по желанию пользователя могут не стирать те сообщения, которые фильтр счёл спамом, а помещать их в отдельную папку.
Методы автоматической фильтрации
Программы автоматической фильтрации используют статистический анализ содержания письма для принятия решения, является ли оно спамом. Наибольшего успеха удалось достичь с помощью алгоритмов, основанных на теореме Байеса. Для работы этих методов требуется предварительное "обучение" фильтров путем передачи ему рассортированных вручную писем для выявления статистических особенностей нормальных писем и спама.
Метод очень хорошо работает при сортировке текстовых сообщений (в том числе HTML). После обучения на достаточно большой выборке удаётся отсечь до 95-97% спама. Для обхода таких фильтров спамеры иногда помещают содержательную часть в картинку, вложенную в письмо, текст же либо отсутствует, либо случаен, что не позволяет фильтру составить статистику для распознавания таких писем. В этом случае необходимо пользоваться программами распознавания текста (большинство современных почтовых программ этого не поддерживают), либо использовать другие методы.
Залог надежной работы байесовского метода – постоянное дообучение фильтра и указание ему на совершаемые ошибки. В почтовых программах для этого вводится возможность ручной пометки сообщения "спам/не-спам", а в почтовых сервисах в интернете – кнопка "пожаловаться на спам".
Неавтоматическая фильтрация
Многие программы и почтовые сервисы в интернете позволяют пользователю задавать собственные фильтры. Такие фильтры могут состоять из слов или, реже, регулярных выражений, в зависимости от наличия или отсутствия которых сообщение попадает или не попадает в мусорный ящик. Однако такая фильтрация трудоёмкая и негибкая, кроме того, требует от пользователя известной степени знакомства с компьютерами. С другой стороны, она позволяет эффективно отсеять часть спама, и пользователь точно знает, какие сообщения будут отсеяны и почему.
Чёрные списки
К ним относятся:
- списки IP-адреса компьютеров, о которых известно, что с них ведётся рассылка спама;
- (широко используются) списки компьютеров, которые можно использовать для рассылки – "открытые релеи" и "открытые прокси", а также списки "диалапов" – клиентских адресов, на которых не может быть почтовых серверов;
- (возможное использование) локальный список или список, поддерживаемый кем-то ещё;
- (широкое распространение благодаря простоте реализации) чёрные списки, запрос к которым осуществляется через службу DNS. Они получили название DNSBL (DNS Black List). В настоящее время этот метод не очень эффективен. Спамеры находят новые компьютеры для своих целей быстрее, чем их успевают заносить в чёрные списки. Кроме того, несколько компьютеров, отправляющих спам, могут скомпрометировать весь почтовый домен или подсеть, и тысячи законопослушных пользователей на неопределённое время будут лишены возможности отправлять почту серверам, использующим такой чёрный список.
- (встречаются) списки проповедующих довольно радикальные теории (например, приравнивая вирусные сообщения к злонамеренному спаму и т. п.).
Авторизация почтовых серверов
Были предложены различные способы для подтверждения того, что компьютер, отправляющий письмо, действительно имеет на это право (Sender ID, SPF, Caller ID, Yahoo DomainKeys, MessageLevel[1]), но они пока не получили широкого распространения. Кроме того, эти технологии ограничивают некоторые распространённые виды функциональности почтовых серверов: становится невозможно автоматически перенаправлять корреспонденцию с одного почтового сервера на другой (SMTP Forwarding).
Наибольшее распространение получила практика <провайдер почты несет ответственность за своих пользователей>: поставщик услуг электронной почты устанавливает правила ее использования, ограничивающие массовость возможных рассылок, и обеспечивает их выполнение. Публичные провайдеры для этого используют аутентификацию как при приеме, так и при отправке почты. Интернет-провайдеры же разрешают клиентам устанавливать SMTP-соединения только со своими (провайдера) серверами запрещая соединения с другими серверами или же "прозрачно" переадресовывая их на свой сервер. Это позволяет блокировать рассылку спама напрямую – на SMTP сервера получателей писем, однако доставляет неудобство желающим отправлять почту через свой SMTP сервер (например, корпоративный или публичный, что особо актуально для пользователей мобильных компьютеров). Решением тут может быть разделение потока отправки писем почтовыми программами (через 587 порт с обязательной авторизацией, RFC 4409) и потока передачи писем между SMTP серверами (через 25-й порт), которое поддерживается на сегодня многими серверами (в том числе и публичными, например, mail.ru, yandex.ru). Однако, стандартом это не стало и почти все почтовые программы по-умолчанию для отправки почты используют 25-й порт.
Серые списки
Метод серых списков основан на том, что "поведение" программного обеспечения, предназначенного для рассылки спама, отличается от поведения обычных почтовых серверов, а именно, спамерские программы не пытаются повторно отправить письмо при возникновении временной ошибки, как того требует протокол SMTP. Точнее, пытаясь обойти защиту, при последующих попытках они используют другой релей, другой обратный адрес и т. п., поэтому это выглядят для принимающей стороны как попытки отправки разных писем.
Простейшая версия серых списков работает следующим образом. Все ранее неизвестные SMTP-серверы полагаются находящимися в "сером" списке. Почта с таких серверов не принимается, но и не отклоняется совсем – им возвращается код временной ошибки ("приходите позже"). В случае, если сервер-отправитель повторяет свою попытку не менее чем через некоторое время tg (это время называется задержкой), сервер вносится в белый список, а почта принимается. Поэтому обычные письма (не спам) не теряются, а только задерживается их доставка (они остаются в очереди на сервере отправителя и доставляются после одной или нескольких неудачных попыток). Программы-спамеры либо не умеют повторно отправлять письма, либо используемые ими серверы успевают за время задержки попасть в чёрные списки DNSBL.
Этот метод в настоящее время позволяет отсеять до 90% спама практически без риска потерять важные письма. Однако его тоже нельзя назвать безупречным.
- Могут ошибочно отсеиваться письма с серверов, не выполняющих рекомендации протокола SMTP, например, рассылки с новостных сайтов. Серверы с таким поведением по возможности заносятся в белые списки.
- Задержка при доставке письма может достигать получаса (а то и больше), что может быть неприемлемо в случае срочной корреспонденции. Этот недостаток компенсируется тем, что задержка вносится только при посылке первого письма от ранее неизвестного отправителя. Также, многие реализации серых списков автоматически, после некоторого периода <знакомства>, вносят SMTP-сервер в белый список. Есть и способы межсерверного обмена такими белыми списками. В результате, после начального периода "запоминания", фактически задерживается менее 20% писем.
- Крупные почтовые службы используют несколько серверов с разными IP-адресами, более того, возможна ситуация, когда несколько серверов по очереди пытаются отправить одно и то же письмо. Это может привести к очень большим задержкам при доставке писем. Пулы серверов с таким поведением также по возможности заносятся в белые списки.
Другие методы
- Общие ужесточения требований к письмам и отправителям, например - отказ в приеме писем с неправильным обратным адресом (письма из несуществующих доменов), проверка доменного имени по IP-адресу компьютера, с которого идет письмо, и т. п. С помощью данных мер отсеивается только самый примитивный спам - небольшое число сообщений. Однако не нулевое, поэтому смысл в их применении остается.
- Сортировка писем по содержанию полей заголовка письма даёт возможность избавиться от некоторого количества спама. Некоторые клиентские программы (например, Mozilla Thunderbird или The Bat!) дают возможность проанализировать заголовки, не скачивая с сервера всё письмо целиком, и таким образом сэкономить трафик.
- Системы типа "вызов-ответ" позволяют убедиться, что отправитель – человек, а не программа-робот. Использование этого метода требует от отправителя выполнения определённых дополнительных действий, часто это может быть нежелательно. Многие реализации таких систем создают дополнительную нагрузку на почтовые системы, во многих случаях они присылают запросы на поддельные адреса, поэтому в профессиональных кругах такие решения не пользуются уважением. Кроме того, такая система не может отличить робота, рассылающего спам, от любых других, например тех, которые рассылают новости.
- Системы определения признаков массовости сообщения, такие как Razor и Distributed Checksum Clearinghouse. Встраиваемые в программное обеспечение почтового сервера модули подсчитывают контрольные суммы каждого проходящего через них письма и проверяют их на серверах служб Razor или DCC, которые сообщают количество появлений письма в сети Интернет. Если письмо появилось, например, несколько десятков тысяч раз - вероятно, это спам. С другой стороны, массовое сообщение может быть и легитимной почтовой рассылкой. Кроме того, спамеры могут варьировать текст сообщения, например добавляя в конец случайный набор символов.