Как запретить доступ по ssh для определенной группы пользователей?

может им задать вместо шела, файл которые сразу выходит?

man sshd_config
AllowGroups

я бы сделал наоборот:
1) не давал бы шелла ни для кого, кроме тех, кому это необходимо (в /etc/passwd вместо /bin/bash или /bin/sh прописал бы /bin/false)
2) дал доступ по ssh только тем, кому это положено (перечислив их в sshd_config, параметр AllowUsers)
3) если есть возможность, прописал бы хосты, откуда можно заходить по ssh в /etc/hosts.deny:
sshd : ALL EXCEPT 192.168.0.5 192.168.1.0/255.255.255.0
где IP-адреса указаны для примера

Насчет ограничения хостов, с которых можно ходить:
sshd_config:
AllowUsers admin@192.168.0.2 admin2@192.168.0.3