сильно загруженый web-сервер =(

Поставить перед сайтом squid?

нет
squid проигрывает nginx по многим показателям

есть еще вариант поставить фронт-ендом lighttpd, а бекэндом lighttpd, но нарушится работа некоторых сайтов

фронтедном nginx хотел написать =)

По каким показателям?

squid не может использовать kqueue() на freebsd и рождение процесса будет дороже для ресурсов + Рамблер с нагрузкой сотни тысяч юзеров + использование nginx за год выросло с 7% до 22% среди всего количества веб-серверов

Q: Почему для проксирования запросов на бэкенд стоит использовать nginx, а не squid
A:
1. nginx это не только proxy, он может часть запросов (на статику) обслуживать сам, а часть проксировать. Причем те uri, которые (не)нужно проксировать могут заданы по regexp.
2. nginx имеет большие возможностей по конфигурированию, характерные для веб-серверов, но отсутствующие в обычных proxy-серверах.
3. nginx использует эффективную FSM и хорошо оптимизирован (в плане экономии системных вызовов).

>load average - 4 
это не четкий показатель , я видел LA до 20-40 и система работала шустрее .

всетаки какие процессы больше всего отъедают cpu ?
что говорит iostat , vmstat ? 

# iostat
tty ad4 ad5 ad6 cpu
tin tout KB/t tps MB/s KB/t tps MB/s KB/t tps MB/s us ni sy in id
0 89 0.64 0 0.00 0.64 0 0.00 41.58 42 1.71 44 0 7 1 48

# vmstat
procs memory page disks faults cpu
r b w avm fre flt re pi po fr sr ad4 ad5 in sy cs us sy id
4 1 1 700584 265076 174 2 0 0 568 387 0 0 389 1437 1356 44 8 48

если работал apache1.3.x + mod_php, то CPU жрет httpd, то в top

CPU States: 90%

а если lighttpd + php(fast-cgi), то CPU жрет PHP, в топ тоже самое..

кэшировать?

при загрузке сервака создавай в оперативке жесткий диск на 4 гигабайта, туда копирую статический html и из оперативки потом дергай...

Включить keepalive.
Статика или динамика? Динамику в fastcgi, можно на другую машину.

PS. 40 req/sec это не нагрузка, это смех курям. У меня гораздо более слабые машины грызут больше в раза три. Ищи, где-то у тебя очевидный затык.

из статики картинки, около 2000, размером до 300К
остальное динамика php
хз где затык - винты по скорости и наполовину не работают, память в запасе есть, сильно жрется цпу..

вот что менял из sysctl

SCTL="/sbin/sysctl"

$SCTL security.bsd.see_other_uids=0
$SCTL security.bsd.see_other_gids=0
$SCTL net.inet.tcp.blackhole=2
$SCTL net.inet.udp.blackhole=1
$SCTL kern.ipc.shm_use_phys=1
$SCTL kern.maxfiles=12328
$SCTL kern.ipc.somaxconn=32768
$SCTL net.inet.ip.redirect=0
$SCTL kern.coredump=0
$SCTL net.inet.ip.portrange.first=30000
$SCTL kern.maxfilesperproc=16384
$SCTL net.inet.icmp.icmplim=50
$SCTL net.inet.icmp.log_redirect=0
$SCTL net.inet.icmp.drop_redirect=1
$SCTL net.inet.tcp.sendspace=32768
$SCTL net.inet.tcp.recvspace=65536
$SCTL net.inet.ip.sourceroute=0
$SCTL net.inet.ip.accept_sourceroute=0
$SCTL net.inet.icmp.bmcastecho=0
$SCTL net.inet.icmp.maskrepl=0
$SCTL net.inet.tcp.msl=5000
$SCTL kern.ipc.nmbclusters=65535
$SCTL security.bsd.hardlink_check_uid=1
$SCTL security.bsd.hardlink_check_gid=1
$SCTL security.jail.sysvipc_allowed=0
$SCTL net.inet.ip.random_id=1
$SCTL net.inet.tcp.keepidle=300000
$SCTL net.inet.tcp.delayed_ack=0

а не пробовал разнести на пару серверов и ДНСом отбалансивать?

придется наверно разносить, просто обидно что не могу понять почему такой мощный серв тупит

вот подборка, сейчас утро, LA 1, 250 слединений на 80 порт
iostat - ниодин винт не работает быстрее чем 2 мбита в сек
vmstat - страницы памяти занято/свободно 658720/248404
открытые файлы 507/204800
сетевые буфера 278/638/916/33792 mbuf clusters in use (current/cache/total/max)

большинство соединений в сосотянии TIME_WAIT

>если работал apache1.3.x + mod_php, то CPU жрет httpd, то в top
>CPU States: 90%
>а если lighttpd + php(fast-cgi), то CPU жрет PHP, в топ тоже самое..

А почему никто не предлагает посмотреть на то как написаны PHP скрипты? Явно сказано самим автором, что именно PHP жрет ЦПУ.

сайты на битрикс

>большинство соединений в сосотянии TIME_WAIT

можно попробовать уменьшить timeout-ы в апаче 

дак апач уже в топке =)
lighttpd работает, убирал кипалайф - разницы нет