Это тот, который в локальной политике безопасности:
Локальные политики / Параметры безопасности / Член домена: всегда требуется цифровая подпись или шифрование потока данных безопасного канала ?
Странно, у меня под samba-3.0.4 все XP нормально регистрировались, без выключения этого (или какого-нибудь другого) параметра.