Посмотри файлы очереди (q*) - обычно в них после заголовка содержится причина отказа.
См. также maillog (можно уровень отладки поставить повыше - O LogLevel).
Возможно, дело не в sendmail, а в настройках tcp/ip - можно поиграться с MTU и попробовать покачать большие файлы по www/ftp.