Дебильный вопрос про авторизацию по паролю или сертификату.

ничего не понял

А без ssh кто на эту звёздочку смотрит, когда я пароль в консоли ввожу? Какое приложение?

/bin/login

Подробности в man login

У SSH есть собственные настройки, которые отвечают по сертификату или по паролю производится аутентификация. Если надо, то можно иметь несколько sshd на разных портах с разными настройками.

Можно сделать проще:

PasswordAuthentication no 

Если тебя так парить сделать авторизацию по ключу, укажи что root запрещён к авторизации,

и ещё пару правил в iptables

iptables -N sshguard
iptables -F sshguard

iptables -A INPUT -p tcp -m tcp --dport 22 -j sshguard

iptables -A sshguard -m state --state NEW -m recent --update --seconds 60 --hitcount 2 --name SSH --rsource -j DROP
iptables -A sshguard -m state --state NEW -m recent --set --name SSH --rsource -j ACCEPT
iptables -A sshguard -j ACCEPT

Правила ограничивают количество новых подключений. Не больше 2 за 60 секунд. Можешь поставить скока угода

Какое приложение пароль принимает, то обычно и смотрит, как правило с помощью PAM.

В топик понабежало сисадминов) Вопрос был программерский )

Так посмотри исходники /bin/login и /usr/sbin/sshd.

man pam

man login

man getty