Про переполнение фиксированного бэклога первое что пришло в голову, я это и выпалил, а потом решил перепроверить - сины срабатывают как пушка, тормоза внутри сессии.
Там, по ходу, никакой схемы frontend+backend (nginx+apache,
nginx+php-fcgi) часом не применяется ?
3 sec - классический SYN retransmit.