разрешить ssh с только с определенных адресов

/etc/hosts.allow:

sshd: <allowed_ip>

/etc/hosts.deny:

sshd: ALL

Примечание: ssh-сервер должен быть собран с libwrap

В sshd_config есть такая опция -- AllowUsers, типа разрешить user1@host1, user2@host2, *@home, superencrypteduser@* и т.д.

см. man sshd_config

Ну или как выше сказали.

Ну и метод с iptables, тоже не кривой. Вполне нормальный.

По поводу hosts.allow
А если у меня за роутером прячутся еще тазики с sshd(тоесть у них есть белый айпишник, но трафик идет через роутер)? После изменения hosts.allow разливать его rsync-ом по всем боксам?
Наверное iptables-ом лучше будет.

если роутер не DNATит в сервер, то нормально всё разруливается. Если DNATит - то и iptables не поможет... только конфиг самого sshd

Еще можно пользовать inetd/xinetd, это вариант libwrap.

Еще можно биндить ssh не ко всем интерфейсам, а только к нужному. Скажем биндишь к 192.168.0.1 и снаружи не зайдешь. Хотя наверное это не твой случай, тебе судя по всему надо именно снаружи.

Вообще, неплохо, когда не менее двух способов ограничения доступа. Скажем iptables+libwrap(xinetd).