Не знаю, как ограничить кол-во отправляемых писем за промежуток времени, но можно ограничить
количество smtp-соединений за определенный промежуток времени с помощью iptables,
правда сюда войдут и входящие smtp, поэтому можно увеличить верхнюю границу.