В идеале - IOS. Если Linux, то что-то из этого http://en.wikipedia.org/wiki/List_of_Linux_router_or_firewall_distributions (впрочем никто не мешает взять универсальный дистрибутив и допилить его до требуемого состояния).
Еще можно рассмотреть вариант с *BSD. Вообще, в гугле на эту тему много чего есть.
- CentOS (пересобранный RHEL) / Debian (в зависимости от вашего way) / FreeBSD
- Squid 2.6.s18 + SAMS (пермский прожект по учёту)
- iptables + iproute 2 (маркировка пакетов и применение дисциплин HTB + ESFQ для точной, гибкой иерархической нарезки полос) (на FreeBSD - хз как с шейпингом, поменьше возможностей, возможно).
- rp-pppoe для линка на провайдера, poptop для pptp. Dialup Admin для информации, Radius для авторизации.