PasswordAuthentication no не работает

OpenSSH_5.5p1

/etc/ssh/ssh_config
=======
Host *
    SendEnv LANG LC_*
    HashKnownHosts yes
    GSSAPIAuthentication yes
    GSSAPIDelegateCredentials no
    PasswordAuthentication no
    UsePAM no
    ChallengeResponseAuthentication no
    PubkeyAuthentication yes
    PermitEmptyPasswords no
=======

По ключам заходит, по паролю тоже заходит, а вроде бы не должен. Что не так?