У меня была такая штука, при этом кроме 100% нагрузки на сервер Exchange и практически его отказа от обслуживания своих клиентов, намоталось несколько гигов трафика.
Видишь ли какая штука, несмотря на то что ты несколько раз пишешь про то, что релей у тебя настроен правильно, он у тебя все таки открытый, что наверное всеж неправильно. Сейчас объясню.
Наверняка ты захотел дать своим внешним пользователям доступ к своим ящикам по POP3(IMAP4) и SMTP. Едем дальше, поскольку почтовые сервера общаются между собой по протоколу SMTP, нельзя закрывать анонимный доступ к SMTP твоего сервера, иначе ты не получишь ни одного письма. Ничего страшного, скажешь ты, ведь релей то у меня закрытый. Да, так было до того момента, пока внешние юзеры не сказали тебе, что не могут отправить письма в другие домены и ты открыл им релей. Но! вместе с этим открылся релей и для анонимных юзеров, который вычисляется за 1-2 дня и с твоего домена пошел спам..
Погоди, еще провайдер тебе натолкает, если вовремя все не исправить..
Решений несколько:
1. Откажись от POP3, юзеры, подключившиеся нативным способом (MAPI, OWA, RPC/HTTP) имеют право релеить по умолчанию.
2. Разреши релей только определенным адресам (скоро тебе надоест добавлять ИПшники).
3. Создай второй коннектор SMTP, который требует обязательной авторизации. Скорей всего тебе потребуется 2ой реальный ИПшник, ну да ничего не поделаешь. Его DNS имя будешь давать юзерам для подключения к серверу из интернет.
4. Наверное есть еще способы, но для этого потребуется дополнительный софт.
Пиши, если нужны подробности.

Рассказываю итоги.
Спамят с нескольких IP адресов, меняется только последнее значение к примеру 205.169.154.81 далее 82 84 78 итд. Таких подсетей выявил несколько, сначала закрывал целиком, но каждый день появлялись новые, проблему решил таким способом, отправка всегда была 13234собака(наша мх запись) сделал запрет на отправку*собака(наша мх запись) теперь поток спама прекратился, очереди загружеены только офисной почтой… Все остальные способы не помогали, только при отключении анонимного доступа спам прекращался. Троян – явно не был в нашей сети, может с наружи… т.к. я отключал сервер от сети полностью, оставляя его только с контроллером домена и доступом в инет. По логам было так
дата время адрес клиента имя
27.04.2008 0:00:04 205.209.142.14 msg-g09pmirpcam

+TO:
+TO:
+TO:

итд.

один и тот же cs-username разные IP адреса. Сейчас сервер работает стабильно, но сам факт интересен.
Выписка из учебника Exchange server 2003 установка и управление официальное пособие для самоподготовки страница 294

Настроить параметры аутентификации для входящих подключений и исходящих сообщений, В случае необходимости можно включить на сервере режим разрешения анонимной электронной почты. Данный режим следует использовать осторожно, так как разрешение анонимной эл. почты позволяет неавторизованным пользователям посылать сообщения, используя некорректные адреса зарегестрированных пользователей.
Мне кажется, что тут и есть загвоздка, только как это поправить мозг не дойдет никак…

Вот в том то и дело, что настроено все верно как и должно быть, анонимный закрыть нельзя, почта ходить не будет, аутентификацию по сертификату сделать тож нельзя пока что, так что либо всех уводить с поп 3 на rpcowahttp но это потребует опять же настройки большого кол-ва клиентов, пока ограничился запретом таким, очереди нет, но вообще получается не приятно, заметил на 3 день, хорошо сервак нормальный, не забил всё место, логи лимит превышали по 4 гига несколько файлов за день… траффик за прошлый месяц не увеличился кстати :) Аутентификацция итак стоит, но без шифрования и сертификатов. Тут именно проблема, что либо они отправляют почту либо нет, при такой реализации они могут отправлять, как только убираешь анонимный доступ почта ходит только внутри… По инету есть аналогичные случаи, но решений почти нет нигде… Я решил запретом отправки с фиктивного адреса и домена, этого робота я отбил, посмотрим как пойдет дальше, вообще такое явление – редкая штука, потому как страдает именно сервер, его забивают, а он не знает чего с этим делать…. Отправка то не проходила никуда…