В общем заметили, что при открытии сайта и инициализации соединения сайт генерируется до 2х секунд, чаще конечно до 1 но это и так много. Выключения модуля подняло скорость первого отзыва в 3-4 раза. (модуль нужен для drupal 7)
Что делать?
(стоит php-cgi и nginx)