балансировка нагрузки

Да вроде все проще: серваки с большей загрузкой отдают ответ в среднем медленее, соответсвенно на таких узлах в среднем больше конектов, то есть у балансера эта инфа априори есть. Haproxy вроде умеет балансить на основе этого алгоритма. Он называется кажись «least connections». Для nginx-а есть какой-то едреный патч, так как он из каробки ниче кроме тупого round robin не умеет. Хотя может в новых версиях добавили.

IPVS и сторонний костылеменеджер в кроне для расставления весов скорее всего будет полезен