Ограничение доступа пользователя к ssh

Нужно запретить одному из пользователей логиниться по ssh откуда-либо кроме локальной сети (все остальные пользователи могут логиниться откуда угодно). Как это сделать наиболее правильно? Пока единственное, что придумал - прописать всех пользователей в AllowUsers, а "ограниченного" прописать в виде user@a.b.c.* Но это не очень хорошо в том плане, что при добавлении каждого нового пользователя нужно его прописывать в AllowUsers. А хотелось бы иметь что-то вроде "чёрного списка" (но если просто указывать в DenyUsers user@!a.b.c.*, то это почему-то не работает). Как это правильно сделать?