с какой прогой можно расчитать трафик каждого пользователя подключенного к серверу

iptables/ipchains -> perl script считывающий значения -> mysql db если iptables считать и ограничивать можно по связке mac/ip

Для линукса - TA billing + VPN

ipac-ng