LINUX.ORG.RU
ФорумAdmin

Периодически отваливается squid


0

1

Связка squid+sams2 до недавнего времени все работало как часики , но буквально пару дней на зад в браузере юзеров при обращении к сайтам стало появлятся окно прокси сервер не доступен , за хожу по ssh на проксик squid лежит в cache.log

2013/12/19 16:33:58| Starting Squid Cache version 2.7.STABLE9 for i386-debian-linux-gnu...
2013/12/19 16:33:58| Process ID 7150
2013/12/19 16:33:58| With 1024 file descriptors available
2013/12/19 16:33:58| Using epoll for the IO loop
2013/12/19 16:33:58| DNS Socket created at 0.0.0.0, port 54342, FD 6
2013/12/19 16:33:58| Adding nameserver 77.75.129.3 from /etc/resolv.conf
2013/12/19 16:33:58| Adding nameserver 8.8.8.8 from /etc/resolv.conf
2013/12/19 16:33:58| helperOpenServers: Starting 5 'samsredir' processes
2013/12/19 16:33:58| User-Agent logging is disabled.
2013/12/19 16:33:58| Referer logging is disabled.
2013/12/19 16:33:58| logfileOpen: opening log /var/log/squid/access.log
2013/12/19 16:33:58| Unlinkd pipe opened on FD 17
2013/12/19 16:33:58| Swap maxSize 102400 + 8192 KB, estimated 8507 objects
2013/12/19 16:33:58| Target number of buckets: 425
2013/12/19 16:33:58| Using 8192 Store buckets
2013/12/19 16:33:58| Max Mem  size: 8192 KB
2013/12/19 16:33:58| Max Swap size: 102400 KB
2013/12/19 16:33:58| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2013/12/19 16:33:58| logfileOpen: opening log /var/log/squid/store.log
2013/12/19 16:33:58| Rebuilding storage in /var/spool/squid (CLEAN)
2013/12/19 16:33:58| Using Least Load store dir selection
2013/12/19 16:33:58| Set Current Directory to /var/spool/squid
2013/12/19 16:33:58| Loaded Icons.
2013/12/19 16:33:58| Accepting proxy HTTP connections at 0.0.0.0, port 3128, FD 19.
2013/12/19 16:33:58| Accepting ICP messages at 0.0.0.0, port 3130, FD 20.
2013/12/19 16:33:58| HTCP Disabled.
2013/12/19 16:33:58| WCCP Disabled.
2013/12/19 16:33:58| Ready to serve requests.
2013/12/19 16:33:58| Done reading /var/spool/squid swaplog (2302 entries)
2013/12/19 16:33:58| Finished rebuilding storage from disk.
2013/12/19 16:33:58|      2302 Entries scanned
2013/12/19 16:33:58|         0 Invalid entries.
2013/12/19 16:33:58|         0 With invalid flags.
2013/12/19 16:33:58|      2302 Objects loaded.
2013/12/19 16:33:58|         0 Objects expired.
2013/12/19 16:33:58|         0 Objects cancelled.
2013/12/19 16:33:58|         0 Duplicate URLs purged.
2013/12/19 16:33:58|         0 Swapfile clashes avoided.
2013/12/19 16:33:58|   Took 0.3 seconds (8436.6 objects/sec).
2013/12/19 16:33:58| Beginning Validation Procedure
2013/12/19 16:33:58|   Completed Validation Procedure
2013/12/19 16:33:58|   Validated 2302 Entries
2013/12/19 16:33:58|   store_swap_size = 90380k
2013/12/19 16:33:59| WARNING: url_rewriter #1 (FD 8) exited
2013/12/19 16:33:59| WARNING: url_rewriter #2 (FD 9) exited
2013/12/19 16:33:59| WARNING: url_rewriter #3 (FD 10) exited
2013/12/19 16:33:59| Too few url_rewriter processes are running
2013/12/19 16:33:59| storeDirWriteCleanLogs: Starting...
2013/12/19 16:33:59| WARNING: Closing open FD   19
2013/12/19 16:33:59| commSetEvents: epoll_ctl(EPOLL_CTL_DEL): failed on fd=19: (1) Operation not permitted
2013/12/19 16:33:59|   Finished.  Wrote 2302 entries.
2013/12/19 16:33:59|   Took 0.0 seconds (5533653.8 entries/sec).
FATAL: The url_rewriter helpers are crashing too rapidly, need help
squid.conf
root@proxy:/home/rab/rab SQUID# sed -e '/^ *#/d; /^[ \t]*$/d' squid.conf 
acl Sams2Time1 time MTWHFAS 00:00-23:59
acl Sams2Template1 src 192.168.3.102
acl Sams2Template1 src 192.168.3.103
acl Sams2Template1 src 192.168.3.117
acl Sams2Template1 src 192.168.3.126
acl Sams2Template1 src 192.168.3.13
acl Sams2Template1 src 192.168.3.157
acl Sams2Template1 src 192.168.3.16
acl Sams2Template1 src 192.168.3.19
acl Sams2Template1 src 192.168.3.24
acl Sams2Template1 src 192.168.3.26
acl Sams2Template1 src 192.168.3.29
acl Sams2Template1 src 192.168.3.4
acl Sams2Template1 src 192.168.3.41
acl Sams2Template1 src 192.168.3.43
acl Sams2Template1 src 192.168.3.48
acl Sams2Template1 src 192.168.3.50
acl Sams2Template1 src 192.168.3.51
acl Sams2Template1 src 192.168.3.52
acl Sams2Template1 src 192.168.3.55
acl Sams2Template1 src 192.168.3.58
acl Sams2Template1 src 192.168.3.6
acl Sams2Template1 src 192.168.3.63
acl Sams2Template1 src 192.168.3.65
acl Sams2Template1 src 192.168.3.67
acl Sams2Template1 src 192.168.3.71
acl Sams2Template1 src 192.168.3.72
acl Sams2Template1 src 192.168.3.75
acl Sams2Template1 src 192.168.3.76
acl Sams2Template1 src 192.168.3.77
acl Sams2Template1 src 192.168.3.80
acl Sams2Template1 src 192.168.3.81
acl Sams2Template1 src 192.168.3.83
acl Sams2Template1 src 192.168.3.88
acl Sams2Template1 src 192.168.3.9
acl Sams2Template1 src 192.168.3.92
acl Sams2Template1 src 192.168.3.93
acl Sams2Template1 src 192.168.3.94
acl Sams2Template1 src 192.168.3.96
acl Sams2Template1 src 192.168.3.97
acl Sams2Template3 src 192.168.3.127
acl Sams2Template3 src 192.168.3.15
acl Sams2Template3 src 192.168.3.64
acl Sams2Template3 src 192.168.3.82
acl Sams2Template3 src 192.168.3.90
acl Sams2Template3 src 192.168.3.99
acl all src all
acl manager proto cache_object
acl localhost src 127.0.0.1/32
acl to_localhost dst 127.0.0.0/8 0.0.0.0/32
acl localnet src 10.0.0.0/8     # RFC1918 possible internal network
acl localnet src 172.16.0.0/12  # RFC1918 possible internal network
acl localnet src 192.168.0.0/16 # RFC1918 possible internal network
acl SSL_ports port 443          # https
acl SSL_ports port 563          # snews
acl SSL_ports port 873          # rsync
acl Safe_ports port 80          # http
acl Safe_ports port 21          # ftp
acl Safe_ports port 443         # https
acl Safe_ports port 70          # gopher
acl Safe_ports port 210         # wais
acl Safe_ports port 1025-65535  # unregistered ports
acl Safe_ports port 280         # http-mgmt
acl Safe_ports port 488         # gss-http
acl Safe_ports port 591         # filemaker
acl Safe_ports port 777         # multiling http
acl Safe_ports port 631         # cups
acl Safe_ports port 873         # rsync
acl Safe_ports port 901         # SWAT
acl purge method PURGE
acl CONNECT method CONNECT
http_access allow Sams2Template1
http_access allow Sams2Template3
http_access allow manager localhost
http_access deny manager
http_access allow purge localhost
http_access deny purge
http_access deny !Safe_ports
http_access deny CONNECT !SSL_ports
http_access allow localhost
http_access deny all
icp_access allow localnet
icp_access deny all
http_port 3128
hierarchy_stoplist cgi-bin ?
access_log /var/log/squid/access.log squid
url_rewrite_program /usr/bin/samsredir
url_rewrite_children 5
acl Sams2Proxy dst your.ip.address
url_rewrite_access deny Sams2Proxy
refresh_pattern ^ftp:           1440    20%     10080
refresh_pattern ^gopher:        1440    0%      1440
refresh_pattern -i (/cgi-bin/|\?) 0     0%      0
refresh_pattern (Release|Packages(.gz)*)$       0       20%     2880
refresh_pattern .               0       20%     4320
acl shoutcast rep_header X-HTTP09-First-Line ^ICY.[0-9]
upgrade_http0.9 deny shoutcast
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
extension_methods REPORT MERGE MKACTIVITY CHECKOUT
hosts_file /etc/hosts
coredump_dir /var/spool/squid

Подскажите в чем может быть затык

★★

Последнее исправление: drac753 (всего исправлений: 2)

Ответ на: комментарий от drac753

а в других логах что-то есть ?
В приведённом тобой, ничего подозрительного мной не обнаружено.

dada ★★★★★
()
Ответ на: комментарий от dada

меня насторожило

2013/12/19 16:33:58| Done reading /var/spool/squid swaplog (2302 entries)
2013/12/19 16:33:58| Finished rebuilding storage from disk.
вродеб ничего криминального больше небыло , подожду падения еще раз все внимательно гляну

drac753 ★★
() автор топика

FATAL: The url_rewriter helpers are crashing too rapidly, need help
url_rewrite_program /usr/bin/samsredir

Вот в его логи и смотри.

zgen ★★★★★
()
Ответ на: комментарий от zgen

насколько я понял по умолчанию он логи не пишет чтобы добится от него их нужно дать ему такую команду ?

samsredir -l file:/path/to/file

drac753 ★★
() автор топика
Ответ на: комментарий от zgen

делаю samsredir -l file:/home/rab/lgredirsams/1.txt в /home/rab/lgredirsams/ появляется 1.txt но он пуст ! Подскажите что делаю не так ?

drac753 ★★
() автор топика
Ответ на: комментарий от drac753

Откуда я знаю, что у тебя не так, логов у меня нет. Я тебе сказал, кто виноват в таком поведении squid'а, твоя задача найти способ определить, что именно происходит с samsredir - я хз, какие там у тебя перенаправления и что именно ему не нравится.

zgen ★★★★★
()
Ответ на: комментарий от zgen

Извините если туплю , но собственно проблема в том что немгу добиться от samsredir логов , соответственно не ясно и из-за чего он отваливатся, насколько я понял сам он логов непишет а попытка заставить его через samsredir -l file:/home/rab/lgredirsams/1.txt никчему не приводит , лог пуст

drac753 ★★
() автор топика
5 февраля 2015 г.
Ответ на: комментарий от drac753

ну так что, раз логов нет сквид похоже так и не отвалился? а то у меня аналогичная ситуация происходит раз в 15-20 минут, только сквид сам через какое-то время восстанавливает свою работу. при анализе URL redirector Stats выяснилось, что процессы запускаемые samsredirector`ом при достижении некоторого небольшого количества реквестов быстро умирали. запустил редиректор с параметром логирования и в логах стало видно, что редиректор не может прожевать некоторые запросы, а конкретно, если запрос длинее 2кб. поэтому в исходнике samsredirector.cpp надо изменить строку char line[2048] на char line[4096] (к примеру) и пересобрать самс.
вот уже третий час пошёл - ни единого разрыва (с)

KJIayC
()
15 апреля 2015 г.
Ответ на: комментарий от Alecsandr1991

скачай исходники sams`а. ищущий да обрящет.

KJIayC
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.