LINUX.ORG.RU
ФорумAdmin

Стал падать squid

 


0

1

Тихо спокойно работал squid, но в последнюю неделю на ровном месте стал падать. Config не редактировали, ничего не трогали. Не могу понять причину. Прошу помощи или совета.

squid -v
Squid Cache: Version 2.7.STABLE6
configure options:  '--prefix=/usr' '--sysconfdir=/etc/squid' '--bindir=/usr/sbin' '--sbindir=/usr/sbin' '--localstatedir=/var' '--libexecdir=/usr/sbin' '--datadir=/usr/share/squid' '--mandir=/usr/share/man' '--with-dl' '--with-maxfd=4096' '--with-valgrind-debug' '--enable-snmp' '--enable-carp' '--enable-auth=basic digest negotiate ntlm' '--enable-basic-auth-helpers=LDAP MSNT NCSA PAM SMB YP getpwnam multi-domain-NTLM' '--enable-ntlm-auth-helpers=SMB fakeauth no_check' '--enable-digest-auth-helpers=ldap password' '--enable-external-acl-helpers=ip_user ldap_group session unix_group wbinfo_group' '--enable-ntlm-fail-open' '--enable-arp-acl' '--enable-htcp' '--enable-underscores' '--enable-stacktraces' '--enable-delay-pools' '--enable-useragent-log' '--enable-referer-log' '--enable-forward-log' '--enable-multicast-miss' '--enable-ssl' '--enable-cache-digests' '--enable-auth-on-acceleration' '--enable-storeio=aufs,coss,diskd,null,ufs' '--enable-linux-netfilter' '--enable-removal-policies=heap,lru' '--enable-icmp' '--with-samba-sources=/usr/include/samba' '--enable-large-cache-files' '--enable-x-accelerator-vary' '--enable-follow-x-forwarded-for' 'CFLAGS=-O2 -g -m32 -march=i586 -mtune=i686 -fmessage-length=0 -D_FORTIFY_SOURCE=2 -fstack-protector -funwind-tables -fasynchronous-unwind-tables -fPIE -DLDAP_DEPRECATED -fno-strict-aliasing' 'LDFLAGS=-pie'

Логи на момент падения в /var/log/squid/cache.log

2018/08/25 14:31:08| Starting Squid Cache version 2.7.STABLE6 for i686-pc-linux-gnu...
2018/08/25 14:31:08| Process ID 22047
2018/08/25 14:31:08| With 4096 file descriptors available
2018/08/25 14:31:08| Using epoll for the IO loop
2018/08/25 14:31:08| DNS Socket created at 0.0.0.0, port 50322, FD 6
2018/08/25 14:31:08| Adding domain xxxxxx  from /etc/resolv.conf
2018/08/25 14:31:08| Adding nameserver 127.0.0.1 from /etc/resolv.conf
2018/08/25 14:31:08| helperOpenServers: Starting 40 'rlimit' processes
2018/08/25 14:31:08| helperOpenServers: Starting 90 'pam_auth' processes
2018/08/25 14:31:08| User-Agent logging is disabled.
2018/08/25 14:31:08| Referer logging is disabled.
2018/08/25 14:31:08| logfileOpen: opening log /var/log/squid/access.log
2018/08/25 14:31:08| Unlinkd pipe opened on FD 141
2018/08/25 14:31:08| Swap maxSize 102400 + 8192 KB, estimated 0 objects
2018/08/25 14:31:08| Target number of buckets: 425
2018/08/25 14:31:08| Using 8192 Store buckets
2018/08/25 14:31:08| Max Mem  size: 8192 KB
2018/08/25 14:31:08| Max Swap size: 102400 KB
2018/08/25 14:31:08| Local cache digest enabled; rebuild/rewrite every 3600/3600 sec
2018/08/25 14:31:08| logfileOpen: opening log /var/log/squid/store.log
2018/08/25 14:31:08| Rebuilding storage in /usr/local/squid/var/cache (CLEAN)
2018/08/25 14:31:08| Using Least Load store dir selection
2018/08/25 14:31:08| chdir: /usr/var/cache: (2) No such file or directory
2018/08/25 14:31:08| Current Directory is /
2018/08/25 14:31:08| Loaded Icons.
2018/08/25 14:31:08| Accepting proxy HTTP connections at 0.0.0.0, port 3128, FD 143.
2018/08/25 14:31:08| Accepting ICP messages at 0.0.0.0, port 3130, FD 144.
2018/08/25 14:31:08| Accepting HTCP messages on port 4827, FD 145.
2018/08/25 14:31:08| Accepting SNMP messages on port 3401, FD 146.
2018/08/25 14:31:08| WCCP Disabled.
2018/08/25 14:31:08| Pinger socket opened on FD 147
2018/08/25 14:31:08| Ready to serve requests.
2018/08/25 14:31:08| Done reading /usr/local/squid/var/cache swaplog (1038 entries)
2018/08/25 14:31:08| Finished rebuilding storage from disk.
2018/08/25 14:31:08|      1038 Entries scanned
2018/08/25 14:31:08|         0 Invalid entries.
2018/08/25 14:31:08|         0 With invalid flags.
2018/08/25 14:31:08|      1038 Objects loaded.
2018/08/25 14:31:08|         0 Objects expired.
2018/08/25 14:31:08|         0 Objects cancelled.
2018/08/25 14:31:08|         0 Duplicate URLs purged.
2018/08/25 14:31:08|         0 Swapfile clashes avoided.
2018/08/25 14:31:08|   Took 0.3 seconds (3991.6 objects/sec).
2018/08/25 14:31:08| Beginning Validation Procedure
2018/08/25 14:31:08|   Completed Validation Procedure
2018/08/25 14:31:08|   Validated 1038 Entries
2018/08/25 14:31:08|   store_swap_size = 35588k
2018/08/25 14:31:09| icmpSend: send: (111) Connection refused
2018/08/25 14:31:09| Closing Pinger socket on FD 147
2018/08/25 14:31:09| storeLateRelease: released 0 objects
(squid)(death+0x71)[0xb77d3711]
[0xffffe400]
/lib/libc.so.6(__fprintf_chk+0x22)[0xb73a80e2]
(squid)(logTraffic+0x18f)[0xb77596df]
(squid)(+0x402fd)[0xb775a2fd]
(squid)(+0x40f7a)[0xb775af7a]
(squid)(commCallCloseHandlers+0xde)[0xb7760b2e]
(squid)(comm_close+0xc1)[0xb7761101]
(squid)(+0x4151f)[0xb775b51f]
(squid)(+0x45ec4)[0xb775fec4]
(squid)(comm_select+0xb10)[0xb7764b60]
(squid)(main+0xb71)[0xb779cc81]
/lib/libc.so.6(__libc_start_main+0xf3)[0xb72d8003]
(squid)(+0x16671)[0xb7730671]
FATAL: Received Segment Violation...dying.


Последнее исправление: albertus (всего исправлений: 1)

Ответ на: комментарий от anonymous

Вот еще логи то что последнее показывает при падении

2018/08/25 16:59:05| storeDirWriteCleanLogs: Starting...
2018/08/25 16:59:05| WARNING: Closing open FD  143
2018/08/25 16:59:05| commSetEvents: epoll_ctl(EPOLL_CTL_DEL): failed on fd=143: (1) Operation not permitted
2018/08/25 16:59:05|   Finished.  Wrote 1938 entries.
2018/08/25 16:59:05|   Took 0.0 seconds (3649717.5 entries/sec).
CPU Usage: 0.057 seconds = 0.021 user + 0.036 sys
Maximum Resident Size: 40464 KB
Page faults with physical i/o: 0
Memory usage for squid via mallinfo():
        total space in arena:    5448 KB
        Ordinary blocks:         5397 KB     19 blks
        Small blocks:               0 KB      0 blks
        Holding blocks:          1108 KB      1 blks
        Free Small blocks:          0 KB
        Free Ordinary blocks:      50 KB
        Total in use:            6505 KB 99%
        Total free:                50 KB 1%

albertus
() автор топика

Место на диске не закончилось?

Deleted
()

Первым делом - почистить(или вообще отключить, если у тебя там не SSD конечно) дисковой кеш сквида - с современными скоростными каналами пользы от дискового кеша немного. Не, ну если у тебя там 128kbit/сек по праздникам, то может оно и надо. Но и то - лучше оперативы побольше и кеш тогда держать только там.

И протестируй оперативку. Если сквид у тебя там - самое жрущее, то немудрено что на битой оперативке он может падать.

Дохнущий винт обычно видно в логах dmesg, но можно глянуть smartctl для очистки совести.

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 2)
Ответ на: комментарий от Pinkbyte

с современными скоростными каналами пользы от дискового кеша немного

Это уже устаревшее объяснение. Теперь действуют другие причины и для 128kbit/sec : все сайты если и не на https, так всё равно сплошная динамика начиная с php и всякими ajax...

А у ТСа куда-то целый раздел чтоли отключается...

vodz ★★★★★
()
Последнее исправление: vodz (всего исправлений: 1)
Ответ на: комментарий от vodz

https

Справедливости ради - для случая непрозрачного прокси он всё же кэшируется. С прозрачным да - облом.

сплошная динамика начиная с php и всякими ajax

тут да, вопросов нет

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

для случая непрозрачного прокси он всё же кэшируется.

Нет, что вы. Тут дело не в прозрачности, а в том, пустите ли вы весь трафик через самосгенеренный и добавленный в доверенный свой корневой сертификат. Только тогда squid может залезть внутрь трафика и его закешировать и отдать его с фиктивным только что сгенерированным сертификатом на этот сайт от вашего супер-пупер личного удостоверяющего центра.

Без этого squid делает user-level (примерно как носки) nat, просто прокидывая CONNECT через http.

vodz ★★★★★
()
Последнее исправление: vodz (всего исправлений: 1)
Ответ на: комментарий от vodz

пустите ли вы весь трафик через самосгенеренный и добавленный в доверенный свой корневой сертификат.

я такой вариант даже не рассматриваю - его и в корпоративной среде внедрить не так чтобы очень просто, а уж в провайдерской и подавно :-)

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

Так и squid теперь клиентам от провайдера не нужен. Прошли времена, когда трафик по РФ - 0.10$/Мбайт, по миру - 0.35$/Мбайт, но через proxy.relcom.ru — 0.15 по миру. Тогда и кешировалось и успевало обрабатывать все запросы клиентов и даже чудо бывало, когда скорость явно превосходило зарубежный канал в виду получения из кеша :)

Но заглушки то на сайты из росконадзоровского списка небось все равно с самоподписанным корневым генерите?

vodz ★★★★★
()
Ответ на: комментарий от vodz

заглушки то на сайты из росконадзоровского списка небось все равно с самоподписанным корневым генерите?

Заглушками(и выгрузками реестра) у нас занимается отдельная софтина. И там по https просто RST выдаётся.

А squid нужен для товарищей из компетентных органов. СОРМа видите ли недостаточно.

Pinkbyte ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.