как закрыть open-relay в сендмэйле ?

По умолчанию он обычно закрыт. В более-менее современных sendmail искать в /etc/mail/relay-domains

Подробнее смотреть сюда: http://www.sendmail.org/tips/relaying.html

И никогда не пользоваться linuxconf!