доступ к ssh поределенно ползователю с определенного хоста

используй AllowUsers.
acl в sshd_config пока нет :)

Элементарно:
stalcker@trustedhost.com userbla@111.111.111.111

> AllowUsers stalcker
ListenAddress 10.1.1.1
т.е. на какой адресс слушать и каким ползователям можно подключаться к
серверу а как объеденить эти два параметра?

опция ListenAddress пределяет, на какие интерфейсы будет слушать sshd, а не с каких хостов можно коннектиться.

man sshd_config:

ListenAddress
Specifies the local addresses sshd should listen on.
.....

AllowUsers
This keyword can be followed by a list of user name patterns, sepa-
rated by spaces. If specified, login is allowed only for user names
that match one of the patterns. '*' and '?' can be used as wildcards
in the patterns. Only user names are valid; a numerical user ID is
not recognized. By default, login is allowed for all users. If the
pattern takes the form USER@HOST then USER and HOST are separately
checked, restricting logins to particular users from particular hosts.

Через файрвол

курить man hosts.allow и man host.deny