У Mail.ru магические алгоритмы антиспама?
Если у вас или у ваших клиентов почтовый ящик на mail.ru, будьте готовы к неприятностям. Немного истории Исторически сложилось так что mail.ru особо не пользовалась популярностью среди ИТ-шников и технарей, как и сама компания в целом. Но в последнее время компания изменилась в лучшую сторону, ребята собрались и сделали довольно неплохой почтовый сервис, перешли на HTTPS, даже успешно перевели почту на UTF-8 (в 2011 году!). Недавно вот еще «Облако» сделали бесплатное на 1ТБ, и даже изменили к нему лицензионное соглашение. Ну и много всего у них происходит хорошего. Но «не будем говорить о плохом, а лучше сделаем»
© цытаты великих людей :)Вернемся в настоящее
Все администраторы у кого есть «сайт / блог / форум» наслышаны о проблемах с доставками писем в ящики для пользователей mail.ru, я их не оправдываю, ведь в большинстве случаев у них плохо настроен MTA, нет DKIM подписей, нет правильной PTR-записи, и все их письма «успешно» валятся в спам. («успешно» без сарказма). Но команда антиспама решила не останавливаться на таких примитивных проверках как валидные цифровые подписи DKIM, обратные записи PTR, «трастовость» домена и исходящего сервера и многое другое что используют бесплатные сервисы с устаревшей антиспам системой (eg. Yandex, Google, Yahoo), команда антиспама отказалась от этих проверок, и начала использовать настоящую магию! Примерный алгоритм работы устаревшего антиспам-фильтра
А теперь секретный алгоритм Мейлру
К чему все это?
В один рабочий день у нас на небольшом проекте появилось полно звонков и жалоб от клиентов, о невозможности зарегистрироваться, о невозможности восстановить пароль, но всю трагичность данной ситуации мы узнали лишь спустя пару дней, когда абсолютно вся работа (продуктивная) остановилась. Научным методом выяснили, что в магический черный список попал наш домен. Именно домен в теле письма, с самого домена письма уходят на ура, но если в теле письма нет упоминания домена. Уведомления с сайта отправлялись через трастовый AMAZON SES с валидными подписями, домен и сервер трастовые в том числе и у самого mail.ru репутация на postmaster.mail.ru 0.5, очень хороший показатель (чем меньше тем лучше) если не указывать в теле письма домен, то письма с сайта отправляются отлично.(о своем единственном предположении как домен попал под фильтр напишу ниже)
отличный сервис для проверки насколько «хороши» ваши письма. mail-tester.com
Прошу поверить что никакого спама да и рассылок вообще не проводилось (иначе я бы не написал данный пост), всего с сайта отправлялось до 50-ти писем в день, в основном уведомления о регистрации с токеном для подтверждения, ссылки для восстановления пароля, и уведомления клиентов о прибытии их товаров на почту, а так же собственно ответы от службы поддержки.
Какие это принесло нам и клиентам трудности: Полностью прекратилась регистрация на сайте (механизм double opt-in) в теле письма ссылка с одноразовым токеном для подтверждения, письмо отклоняется сервером mail.ru. Невозможно восстановить пароль (по той же причине) Не приходят уведомления о заказе со ссылкой на товар. (починили убрав ссылку) прекратилась поддержка клиентов по email. Клиенты ставят в письме ссылку на товар и задают вопрос по данному товару, и такое письмо соответственно mail.ru не дает им отправить. Уже существовавшие ветви переписки остановились, в теле письма обычно цитируется предыдущая переписка (а там ссылка на товар, или в подписи на сайт), и главное что клиент не понимает почему он не может нам написать. Хорошо что сам я не пользуюсь их почтой, поэтому вся работа не связанная с клиентами мейлру идет отлично. Печально что регион с которым мы работаем, на 95% пользуется почтой мейлру.Почему так не надо делать? Как минимум, есть папка «СПАМ» и если мейлру считает письмо спамом то почему не ложит в эту папку, а отвергает даже не подпустив к своему магическому антиспам-фильтру? Ведь если что-то пошло с сервером или сайтом не так, то пока администраторы чинят это можно клиенту по телефону объяснить что у нас трудности с доставкой так что пожалуйста проверьте папку спам и там найдете ссылку для подтверждения регистрации или для восстановления пароля.Что если у вас ящик на мейлру, вы заработалсиь и забыли что у вас есть несколько старых доменов / сайтов которые вот-вот нужно продлить, но вы не переживаете потому что знаете что любой регистратор пришлет вам over 9000 напоминаний вида: «Напоминаем что истекает срок действия домена «example.com»…
которые вы к сожалению не получите, потому что мейлру лучше знает нужно вам продлевать такой домен или нет.Что если администратору отправлено письмо-«abuse» из госорганов или других предприятий, где в теле письма указана ссылка на страницу-причину этой претензии такое письмо никогда до него не дойдет.Что делать? Вывешивать банер как во времена IE6? (Ваш почтовый сервис устарел, попробуйте новые удобные и бесплатные почтовики)Поддержка MAIL RU При заполнении и отправке формы которую присылает сервер отвергая письмо, приходит только авто-ответ с номером тикета и сообщением о том что ответ будет в течении 5 рабочих дней. Примерно на 4-й день отвечает бот или не бот о том что запрос передан специалисту, и что он рассмотрит его в течении опять таки 5 дней, уже примерно на 9-й день краткий ответ специалста «Вы цитируете спам, перестаньте цитировать и письмо будет отправляться» и гордо закрывает тикет как решенный. (facepalm)отходя от темы Хочу упомянуть отдельно поддержку яндекса. Гордость берет за них, такая крупная компания и от них не получаю авто-бото-писем (только первое об открытии тикета). К каждому вопросу подходят индивидуально, как будто только открыли компанию и им очень важен каждый клиент. Отвечают быстро, всегда в течении суток.Писал изначально им, так как домен у них на pdd, думал закрытый ключ слетел или что, они сразу дали email адрес куда писать в мейлру, и потом еще интересовались решил ли я вопрос.Однажды их администраторы специально делали и присылали bash и bat скрипты для отслеживания подмены выдачи одним лукавым провайдером на разных OS.Почему сработал фильтр? У меня только одно предположение-совпадение. В день несколькими часами раньше до того как домен попал под фильтр разработчики устанавливали на сайт кнопку «Поделится» от одноклассников, и соответственно мы ее тестировали, сначала на локалхосте, потом на тестовом сервере, потом на продакшене, итого моя лента в одноклассниках была заспамлена этим доменом, в том числе и нерабочими ссылками (вида testenvsite.work/url/) ну мне то всеравно, потестил и забыл, друзей у меня нет кто бы по ним еще нажимал и переходил.Итоги Как вы считаете, допустима ли такая спам-политика компании мейлру? Почему кто-то умный у них решил «режектить» «подозрительные» письма вместо вложения их в папку «спам». Почему не предусмотрели быстрого реагирования на случай ложного срабатывания фильтра (они всегда бывают), ведь так можно парализовать на немалое время работу большого сервиса. В идеале, при срабатывании фильтра отсылать письмо администратору с предупреждением что его письма будут отклонятся полностью если он не решит проблему (какую?) в течении N суток, а на данный момент отправляются в спам. Почему такой приоритет именно имени домена в письме, и полное игнорирование всех остальных факторов? Ведь даже если мне напишет сам pupkin@kermlin.ru c валидным DKIM или god@sky.com и упомянут имя домена, их письма не придут :( Это довольно не редкий случай, фильтр этот они ввели или подкрутили примерно в феврале 2014 года, именно с этого месяца в сети полно подобных тем с жалобами, и совсем нет решений. Многие с февраля так и не решили вопрос, мы пока что 3-ю неделю решаем, такое чувство что они специально дают тикетам отлежатся 4–5 дней, а только потом отвечают, и то без конкретики.
