История изменений

Исправление KOTOXJle6, 05.12.19 08:34 (текущая версия) :

Да, спасибо. Вчера долго ковырял, забыл отписаться.

Проблема обнаружилась через lsof. Вот что делал:

Проверяем через lsof что может занимать место на выделенном разделе

lsof /GlFS/

COMMAND    PID USER   FD   TYPE DEVICE    SIZE/OFF    NODE NAME
glusterfs 1925 root    5w   REG  253,1  1065591650 1441817 /GlFS/dv0/squid/logs/access.log
glusterfs 1925 root   13r   DIR  253,1        4096 1441793 /GlFS/dv0
glusterfs 1925 root   34w   REG  253,1 58068706468 1442408 /GlFS/dv0/.glusterfs/07/57/07579874-7bf2-4749-a195-797a07d027a5 (deleted)

Выполним

ls -l /proc/1925/fd

Получаем список файлов

lr-x------ 1 root root 64 дек  5 07:12 13 -> /GlFS/dv0
lrwx------ 1 root root 64 дек  5 07:12 14 -> 'socket:[731058]'
lrwx------ 1 root root 64 дек  5 07:12 15 -> 'socket:[732701]'
l-wx------ 1 root root 64 дек  5 07:12 16 -> /var/log/glusterfs/bricks/GlFS-dv0.log
lrwx------ 1 root root 64 дек  5 07:12 17 -> 'socket:[53896]'
l-wx------ 1 root root 64 дек  5 07:12 2 -> /dev/null
lrwx------ 1 root root 64 дек  5 07:12 3 -> 'anon_inode:[eventpoll]'
l-wx------ 1 root root 64 дек  5 07:12 34 -> '/GlFS/dv0/.glusterfs/07/57/07579874-7bf2-4749-a195-797a07d027a5 (deleted)'
lrwx------ 1 root root 64 дек  5 07:12 4 -> 'socket:[24968]'
l-wx------ 1 root root 64 дек  5 07:12 5 -> /GlFS/dv0/squid/logs/access.log
lrwx------ 1 root root 64 дек  5 07:12 6 -> /run/gluster/vols/SquidFS/SQUID-01-GlFS-dv0.pid

Обнулим файл

> /proc/1925/fd/34

Проверяем место

df -h
Filesystem                         Size  Used Avail Use% Mounted on
/dev/sda2                          976M  279M  631M  31% /boot
/dev/mapper/vg01-lv01               89G  8,3G   76G  10% /GlFS
SQUID-02:/SquidFS               89G   64G   22G  75% /ClFS

Проверяем сверим данные lsof на двух нодах

root@squid-01:/home/stb# lsof /ClFS/
COMMAND     PID  USER   FD   TYPE DEVICE SIZE/OFF                 NODE NAME
log_file_ 21690 proxy    3w   REG   0,49 96881918 13262758998096368239 /ClFS/squid/logs/access.log
root@squid-01:/home/stb# lsof /GlFS/
COMMAND    PID USER   FD   TYPE DEVICE   SIZE/OFF    NODE NAME
glusterfs 1925 root    5w   REG  253,1   96933149 1442410 /GlFS/dv0/squid/logs/access.log
glusterfs 1925 root   13r   DIR  253,1       4096 1441793 /GlFS/dv0
glusterfs 1925 root   34w   REG  253,1 1395774816 1442408 /GlFS/dv0/.glusterfs/07/57/07579874-7bf2-4749-a195-797a07d027a5 (deleted)

root@squid-02:/home/stb# lsof /GlFS/
COMMAND    PID USER   FD   TYPE DEVICE    SIZE/OFF    NODE NAME
glusterfs 1981 root    5w   REG  253,1   141661081 4719207 /GlFS/dv0/squid/logs/access.log
glusterfs 1981 root   13r   DIR  253,1        4096 4718593 /GlFS/dv0
glusterfs 1981 root   34w   REG  253,1 59723521895 4719209 /GlFS/dv0/.glusterfs/07/57/07579874-7bf2-4749-a195-797a07d027a5 (deleted)
root@squid-02:/home/stb# lsof /ClFS/
COMMAND     PID  USER   FD   TYPE DEVICE    SIZE/OFF                 NODE NAME
log_file_ 25720 proxy    3w   REG   0,49 59723735877 11643345976660338597 /ClFS/squid/logs/access.log (deleted)

Похоже сейчас проблема в удаленном файле access.log на второй ноде. Но я не знаю что делать дальше? Попробовать так же обнулить файл? Или можно что-то сделать удаление?

Исходная версия KOTOXJle6, 05.12.19 08:32: