То есть имеется в виду, чтобы "левые" хосты сразу (еще до запроса логина/пароля/кодовой фразы) получали connection refused?
Прямой метод -- iptables.
Мудацкий метод -- inetd/xinetd (читать man sshd). Мудацким метод является по причине, указанной в мане -- перед коннектом sshd должен сгенерировать временный ключ, что займет примерно несколько десятков секунд.
> А почему столько времени занимает генерация ключа?? Я когда конектюсь у меня это происходит меньше чем за 3-5 секунд...
А это потому что у вас sshd запущен как демон. Либо у вас весьма мощная машина. Я сам в исходниках не копался, доверяю man sshd, в котором сказано про "десятки секунд".
Я проверял. На среднем пентиуме (400-800 Мгц) порядка 0.3-1 секунды. На 486DX2 8 секунд. Причем нет разницы, запускать ли через (x)inetd или отдельным демоном. На 486 видно, что эти 8 секунд сожраны дочерним процессом sshd. Впрочем в конфигах я сильно не ковырялся, они практически из коробки (не считая мелких брызг).