Запрещать relay в QMail можно по маскам IP адресов, а что делать если ip динамические а relay нужен? (ну например с модемного пула mtu) черт его знает каким будет ip в следующий раз..
Открыть релеингна весь пул тебе врядли понравится, он у мту здоровый.
Тут уж лучше прикручивать SMTP аутентификацию.
Я когда свое вебмыло делал, открыл релеинг для нутренней сети, а снаружи только через аутентификацию. Наплыва спама пока не наблюдается.