LINUX.ORG.RU

Сообщения lignumq

 

Таблица дедупликации ZFS не выгружается в оперативную память

Форум — Development

У меня есть пул на котором 3,41 ТБ данных, на томах включена дедупликация, судя по выводу

zpool status -D <pool_name>
...
dedup: DDT entries 73665285, size 696B on disk, 154B in core
...

Я вижу, что в оперативной памяти хранится только 10 ГБ DDT, и если я загружу больше данных, количество блоков увеличится, а байтов уменьшится. Насколько я знаю, ДДТ хранится в метаданных ARC, и при выводе arc_meta_used я вижу там всего около 8Гб, лимит на количество метаданных(zfs_arc_meta_limit_percent) в ARC установлено на 75%, то есть до него еще даже не доходит, объем оперативной памяти = 64гб. почему вся таблица дедупликации не сбрасывается в оперативную память?

согласно этому выводу мой размер DDT составляет 37,19 ГБ

zdb -b pool
bp count:       124780196
	ganged count:           0
	bp logical:    3997925134336      avg:  32039
	bp physical:   3988307198976      avg:  31962     compression:   1.00
	bp allocated:  6056878956544      avg:  48540     compression:   0.66
	bp deduped:    2188370706432    ref>1: 15910160   deduplication:   1.36
	SPA allocated: 3868508110848     used: 25.36%

	additional, non-pointer bps of type 0:         95
	Dittoed blocks on same vdev: 3706666

Почему таблица не выгружается в ОЗУ? и как её выгрузить принудительно?

 , , ,

lignumq
()
1 комментарий

Настройка таймаута для удаления мультипас устройств

Форум — Development

Подскажите пожалуйста, какие настройки нужны что бы multipathd удалял пути, которые не активны(Ubuntu 18, версия multipath-tools - 0.7.4). я раздаю FC лун по двум путям на убунту, и если я удалю лун, то клиент видит что пути стали failed, но не удаляет их даже спустя час. мои настройки multipath.conf

       dev_loss_tmo             "600"
       no_path_retry            60
       path_selector            "queue-length 0"
       path_grouping_policy     "failover"
       path_checker             "directio"
       failback                 "immediate"
       rr_weight                "priorities"
       flush_on_last_del        no
       fast_io_fail_tmo         180

 ,

lignumq
()
1 комментарий

Разный размер блока у логического тома и ФС

Форум — Development

Такой вопрос, прошерстил просторы, но конкретного ответа не нашел, везде поверхностная инфа, например имеем lvm том с размером блока 64к, форматируем на нем файловую систему, в моём случае это xfs, но в данном случае это не принципиально, так вот, она форматируется с размером блока 4к. как будет происходить взаимодействие между этими размерами блоков, просядет ли производительность? и далее если расшарить например через nfs, и с клиента запустить fio с размером блока от 8к до 32к, то как это все будет происходить?

если я правильно понял принцип работы, то будет что то типо отправляется с клиента блок 8к, разбивается на блоки по 4к(ФС), и после эти 2 блока по 4к кладутся в блок 64к(LV), так это или нет?

 , , ,

lignumq
()
1 комментарий

Изменение размера PAGE_SIZE

Форум — Development

Всем привет! есть ubuntu 18.04 ядро 4.19. возникло несколько вопросов, как можно смонтировать xfs с блоком больше чем 4к, например 64к(сформатировать получается, а смонтировать нет), то что нашел это только то что нужно пересобирать ядро и выставлять больше PAGE_SIZE? из этого вытекает другой вопрос, чем черевато увеличение PAGE_SIZE и есть какие либо подводные камни(где то прочитал что это головная боль, но развернутого ответа не было)?

 , , ,

lignumq
()
13 комментариев

Деактивация LV's при инициализации системы (LVM)

Форум — Development

Добрый день, есть ли способ что бы LVM автоматически деактивировал все LV устройства при старте системы, желательно через конфиг LVM(может быть есть какой то ключ)

 

lignumq
()
5 комментариев

Как рекурсивно удалить PV устройство lvm(вместе с lv и vg)

Форум — Development

Всем привет, есть необходимость удалять PV устройства у экспортированных VG групп, выполняю:

pvremove -fff /dev/disk/by-id/scsi-35002538a477f2200-part1
Device /dev/disk/by-id/scsi-35002538a477f2200-part1 excluded by a filter.

фильтров никаких нет на этот счет, при выводе с ключем -vvv есть такая запись:

Skipping PV /dev/disk/by-id/scsi-35002538a477f2200-part1 in VG ap2.

Можно ли как то одной командой удалять метку LVM с данного диска, что бы не было ошибок (wipefs -af знаю, хотелось бы средствами самого LVM)

 ,

lignumq
()
[Добавить комментарий]

Как я могу получить занятое/свободное/общее место на файловой системе xfs, используя язык Си

Форум — Development

Всем привет, возник вопрос как можно получить разные типы размеров(свободное, занятое, общее) на файловой системе XFS? например так же как это делает df или xfs_estimate, но не используя эти команды и не парся их. как нибудь через какие то бибилотеки или через ядро

 , , ,

lignumq
()
14 комментариев

Curl иногда обрывается по установленному таймауту(как отладить?)

Форум — Development

У меня есть сервер с которого я дергаю api через curl, в большинстве случаев исполняется за примерно 0,5-1 сек, но иногда обрывается по таймауту(я выставил 10 сек) потому что без таймаута он вис прям надолго. как можно понять, отладить где проблема. пример url - http://172.16.11.41/Storage/Devices/

код такой:

    if (NULL == (curl = curl_easy_init()))
        goto exit;

    res = curl_easy_setopt(curl, CURLOPT_USERNAME, "admin");

    res = curl_easy_setopt(curl, CURLOPT_PASSWORD, "admin");

    res = curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, curl_response_cb);

    res = curl_easy_setopt(curl, CURLOPT_WRITEDATA, (void *) &response);

    res = curl_easy_setopt(curl, CURLOPT_TIMEOUT, 10L);

    res = curl_easy_setopt(curl, CURLOPT_PORT, 80);

    res = curl_easy_setopt(curl, CURLOPT_VERBOSE, 1L);

    res = curl_easy_setopt(curl, CURLOPT_STDERR, fp);

    res = curl_easy_setopt(curl, CURLOPT_SSL_VERIFYHOST, false);

    res = curl_easy_setopt(curl, CURLOPT_SSL_VERIFYPEER, false);

    res = curl_easy_setopt(curl, CURLOPT_URL, url);

я так же пытался вытащить(с помощью функции curl_easy_getinfo) после обрыва таймаута, время которое тратится на какие то операции курла

CURLINFO_TOTAL_TIME: 10.001
CURLINFO_NAMELOOKUP_TIME: 0.000
CURLINFO_CONNECT_TIME: 0.001
CURLINFO_PRETRANSFER_TIME: 0.001
CURLINFO_STARTTRANSFER_TIME: 0.000
CURLINFO_REDIRECT_TIME: 0.000

и вывод флага CURLOPT_VERBOSE

*   Trying 172.16.11.41:80...
* TCP_NODELAY set
* Connected to 172.16.11.41 (172.16.11.41) port 80 (#0)
* Server auth using Basic with user 'admin'
> GET /Storage/Devices/ HTTP/1.1
Host: 172.16.11.41
Authorization: Basic YWRtaW46YWRtaW4=
Accept: */*

* Operation timed out after 10001 milliseconds with 0 bytes received
* Closing connection 0

 ,

lignumq
()
5 комментариев

dockerfile 'standard_init_linux.go:219: exec user process caused: no such file or directory'

Форум — Development

Всем привет, у меня есть проект, в котором я использую несколько докерфайлов, в первом (назовем его docker1) создается базовый образ системы на основе FROM docker.io/library/ubuntu:focal, потом во втором докер файле (назовем его docker2) который основывается на docker1 FROM image_docker1:1, компилируется проект и задаются разного рода конфигурации. так вот во втором файле при вызове каких то RUN комманд, вылетает ошибка. хотя в первом файле так же есть RUN команды и использование mkdir

Step 5/15 : RUN mkdir /test
 ---> Running in a8455e561a5b
standard_init_linux.go:219: exec user process caused: no such file or directory
The command '/bin/sh -c mkdir /test' returned a non-zero code: 1

что хочу отметить:

  1. запуская образ созданный docker1 через docker run,успешно выполняются команды
mkdir /test
и
/bin/sh -c 'mkdir /test'
  1. ошибка стала возникать после того как я изменил в docker1 какой брать дистрибутив, был bionic стал focal.

Дайте знать если требуется еще какая-то информация

 

lignumq
()
6 комментариев

Выдавать ошибку при компиляции если используется «запрещенная» функция

Форум — Development

Всем привет, подскажите, как сделать так что бы компилятор выдавал ошибку если находил какую то функцию в списке «запрещенных»? и каким ключом сделать этот список?

то есть например, я хочу что бы если используют функцию strtok, то при компиляции выдавалась ошибка с каким то комментарием что нельзя ее использовать, а нужно использовать strtok_r. язык Си

 , , , ,

lignumq
()
8 комментариев

Создание разделов на LVM томе

Форум — Development

Есть необходимость создавать на lvm томе 2 раздела c помощью parted. разделы создаются, но devmapper их создает как holders’ы для этого тома лвм:

ls -lh /sys/devices/virtual/block/dm-4/holders/
total 0
lrwxrwxrwx 1 root root 0 Apr  7 17:46 dm-15 -> ../../dm-15
lrwxrwxrwx 1 root root 0 Apr  7 17:46 dm-16 -> ../../dm-16

можно ли как то сделать что бы он создавал партиции внутри самой папки /sys/devices/virtual/block/dm-4/, как например сделано в zfs.

и так же после ребута разделы не появляются, нужно вручную запускать partprobe

 ,

lignumq
()
1 комментарий

Отключить создание разделов на multipath устройствах

Форум — Development

Проблема такая, есть два сервера(ubuntu), версия мультипаса: multipath-tools v0.7.4 (11/15, 2017), первый отдает том на второй по протоколу FC по двум путям, на втором сервере создается еще один том и отдается Windows клиенту, том со второго сервера реплицируется на том первого средствами drbd локально (я знаю что можно сделать по другому, вопрос не в этом). после того как заканчивается синхронизация, на мультипас устройстве появляется раздел(например после ребута или multipath -r), и после этого невозможно подцепить drbd к нему(к самому устройству, не разделу)(пробовал подцепить к разделу - подцепляется, но синхронизация не начиналась), можно ли как то сделать что бы не считывались партиции мультипаса? ошибки следующие:

/sbin/drbdsetup attach 1 '/dev/mapper/3520f0c20002d00af' '/dev/zd16p2' flexible --disk-flushes=no --disk-barrier=no --a
l-extents=3389 --c-plan-ahead=0 --resync-rate=4194304K
1: Failure: (104) Can not open backing device

в kern.log есть такое сообщение:

2022-03-18 11:32:58 0 3 localhost kernel:[ 4435.595214] block drbd1: open("/dev/mapper/3520f0c20002d00af") failed with -16

lsblk до синхронизации

sdu                          65:64   0    50G  0 disk  
└─3520f0c20002d00af         253:0    0    50G  0 mpath 
sdv                          65:80   0    50G  0 disk  
└─3520f0c20002d00af         253:0    0    50G  0 mpath

lsblk после синхронизации

sdu                          65:64   0    50G  0 disk  
├─sdu1                       65:65   0    50G  0 part  
└─3520f0c20002d00af         253:0    0    50G  0 mpath 
  └─3520f0c20002d00af-part1 253:1    0    50G  0 part  
sdv                          65:80   0    50G  0 disk  
├─sdv1                       65:81   0    50G  0 part  
└─3520f0c20002d00af         253:0    0    50G  0 mpath 
  └─3520f0c20002d00af-part1 253:1    0    50G  0 part

пробовал использовать параметр в multipath.conf, но это не помогло

skip_kpartx		yes

multipath.conf

defaults {
	polling_interval	5
	path_selector		"round-robin 0"
	path_grouping_policy	failover
	flush_on_last_del	yes
	queue_without_daemon	yes
	user_friendly_names	no
	failback                "immediate"
	prio                    "alua"
	skip_kpartx		yes
	no_path_retry            60
	path_checker             "directio"
	rr_weight                "priorities"
       checker_timeout 300
}

blacklist {
	devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st|zd|drbd)[0-9]*"
	devnode "^hd[a-z][[0-9]*]"
}

 , , ,

lignumq
()
1 комментарий

Не логинится через ssh если установлен кастомный скрипт для пользователя. Эльбрус

Форум — Development

Всем привет, проблема такая, создаю самого простого пользователя, и устанавливаю ему кастомный скрипт при логине(даже самый простой который только выполняет /bin/bash), но при вводе пароля через ssh, пишет ошибку что отказано в доступе. если прописать напрямую оболочку, то есть /bin/bash, то логинится успешно. я пытался прописать этот скрипт как новую оболочку, и тогда логин успешно проходит, но не уверен что это правильно:

echo "/home/user1/test.sh" >> /etc/shells

создание пользователя:

useradd -m user1
password user1
usermod -s /home/user1/test.sh user1

getent passwd user1:

user1:x:1002:1013::/home/user1:/home/user1/test.sh

ошибка при логине такая:

Permission denied, please try again.

 ,

lignumq
()
12 комментариев

Как получить MemAvailable через язык Си

Форум — Development

Как я могу получить MemAvailable используя функции языка СИ, без парсинга файла /proc/meminfo.

я хотел использовать:

struct sysinfo si;
sysinfo(&si);

но в этой структуре нет такого поля, только free. так же видел что может быть как то можно достать из

sysctl()
или
sysconf()

подскажите может есть еще какие то методы, спасибо!

 ,

lignumq
()
15 комментариев

как понять к какой группе принадлежат диски в lvm RAID10

Форум — Admin

при создании logical volume с типом raid10, как lvm распределяет диски в группы? например у zfs все понятно в выводе zpool status, расписан каждый страйп, как определить это же у lvm, как распределены диски по страйпам?

Перемещено a1batross из development

 , , ,

lignumq
()
3 комментария

Создание кастомного iso образа на ubuntu

Форум — Development

Всем привет! В общем ситуация такая, необходимо создать iso образ который будет после прожигаться на CD/DVD или флэшку. Но загвоздка в следующем, что нужно создать в этом образе кастомную систему, то есть со своими утилитами(желательно через apt), ядром и модулями, и при загрузке системы должен автоматом запускаться мой скрипт установки с диалоговыми меню whiptail. я пробовал использовать buildroot, но он не очень гибкий в этом плане, и если самому доставлять пакеты через dpkg -i, то после распаковки initrd ядро крешится, и то есть я получается использую initrd как основную файловую систему, что бы не монтировать CD-диск на самого себя. использую как загрузчик isolinux.

Если кто подскажет идеи как можно реализовать, может другими методами или утилитами, буду очень благодарен!

 , , , ,

lignumq
()
3 комментария

Создание ZVOL занимает много времени после импорта пула.(ZFS)

Форум — Development

Ubuntu 18.04 kernel version - 4.19.107 and 5.4.149 ZFS version - 0.8.6

у меня кластер из двух нод. в первой ноде есть пул и на нем два тома, один из которых нагружается через FC, второй - через iSCSI с помощью Iometer. клиент Windows (нагружаемый файл ~ 5 ГБ). при пропадании питания на первой ноде вторая нода импортирует созданный пул, после импорта создание zvol зависает у меня на срок до 20 минут. Я также использую alua scst. иногда один звол может быть создан через 5 минут, а второй через 10 минут

Пробовал изменить свойство sync = disabled или параметр zfs zil_replay_disable = 1 помогло, zvols создаются сразу после импорта пула, но есть вероятность потери данных, что для меня неприемлемо

ПРИМЕЧАНИЕ:с версией ZFS 0.7.13 и ядром 4.19.107 таких проблем не возникало при одинаковых условиях. дайте мне знать, если вам нужно что-то еще

во время зависания я выполняю echo t> /proc/sysrq-trigger и вижу следующую трассировку стека:

2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649611] Call Trace:
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649618]  __schedule+0x28f/0x770
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649628]  schedule+0x36/0xc0
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649634]  schedule_timeout+0x162/0x330
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649643]  ? __next_timer_interrupt+0xc0/0xc0
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649650]  io_schedule_timeout+0x19/0x40
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649659]  __cv_timedwait_common+0x123/0x160 [spl]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649667]  ? wait_woken+0xa0/0xa0
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649721]  zio_wait+0x123/0x270 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649763]  dmu_tx_count_write+0x155/0x1d0 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649801]  dmu_tx_hold_write+0x3c/0x50 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649851]  zvol_replay_write+0x51/0x110 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649903]  ? bil_replay_error.isra.18+0xb0/0xb0 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.649960]  bil_replay_log_record+0xdc/0x1a0 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650022]  bil_parse+0x64e/0x960 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650072]  ? bil_set_logbias+0x10/0x10 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650120]  ? bil_replay_error.isra.18+0xb0/0xb0 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650171]  bil_replay+0xb7/0x120 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650228]  zvol_create_minor_impl+0x7fb/0x820 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650283]  zvol_task_cb+0x2f1/0x5a0 [bfs]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650289]  ? __schedule+0x297/0x770
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650296]  taskq_thread+0x2a6/0x4c0 [spl]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650298]  ? __switch_to_asm+0x40/0x70
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650301]  ? wake_up_q+0x70/0x70
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650307]  ? task_done+0xa0/0xa0 [spl]
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650315]  kthread+0x12f/0x150
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650321]  ? kthread_create_worker_on_cpu+0x70/0x70
2021-11-09 18:37:52 0 4 localhost kernel:[ 3705.650327]  ret_from_fork+0x35/0x40
2021-11-09 18:37:52 0 6 localhost kernel:[ 3705.650333] z_prefetch      S    0 47471      2 0x80084000

my arc_summary:


ARC status:                                                      HEALTHY
        Memory throttle count:                                         0

ARC size (current):                                   < 0.1 %    1.6 MiB
        Target size (adaptive):                       100.0 %  316.3 GiB
        Min size (hard limit):                          0.2 %  512.0 MiB
        Max size (high water):                          632:1  316.3 GiB
        Most Frequently Used (MFU) cache size:         62.3 %  931.5 KiB
        Most Recently Used (MRU) cache size:           37.7 %  563.0 KiB
        Metadata cache size (hard limit):              75.0 %  237.2 GiB
        Metadata cache size (current):                < 0.1 %    1.6 MiB
        Dnode cache size (hard limit):                 10.0 %   23.7 GiB
        Dnode cache size (current):                   < 0.1 %   71.2 KiB

ARC hash breakdown:
        Elements max:                                             190.3k
        Elements current:                             < 0.1 %         67
        Collisions:                                                 1.4k
        Chain max:                                                     1
        Chains:                                                        0

ARC misc:
        Deleted:                                                  199.8k
        Mutex misses:                                                  0
        Eviction skips:                                               69

ARC total accesses (hits + misses):                                10.7M
        Cache hit ratio:                               97.4 %      10.4M
        Cache miss ratio:                               2.6 %     281.0k
        Actual hit ratio (MFU + MRU hits):             97.4 %      10.4M
        Data demand efficiency:                        61.9 %     520.5k
        Data prefetch efficiency:                       0.0 %          5

Cache hits by cache type:
        Most frequently used (MFU):                    94.6 %       9.9M
        Most recently used (MRU):                       5.4 %     560.8k
        Most frequently used (MFU) ghost:               0.0 %          0
        Most recently used (MRU) ghost:                 0.0 %          0
        Anonymously used:                             < 0.1 %        104

Cache hits by data type:
        Demand data:                                    3.1 %     322.2k
        Demand prefetch data:                           0.0 %          0
        Demand metadata:                               96.9 %      10.1M
        Demand prefetch metadata:                     < 0.1 %        104

Cache misses by data type:
        Demand data:                                   70.6 %     198.3k
        Demand prefetch data:                         < 0.1 %          5
        Demand metadata:                               29.4 %      82.6k
        Demand prefetch metadata:                     < 0.1 %        131

DMU prefetch efficiency:                                            4.2M
        Hit ratio:                                    < 0.1 %        831
        Miss ratio:                                   100.0 %       4.2M

L2ARC not detected, skipping section

Solaris Porting Layer (SPL):
        spl_hostid                                                     0
        spl_hostid_path                                      /etc/hostid
        spl_kmem_alloc_max                                       1048576
        spl_kmem_alloc_warn                                        65536
        spl_kmem_cache_expire                                          2
        spl_kmem_cache_kmem_limit                                   2048
        spl_kmem_cache_kmem_threads                                    4
        spl_kmem_cache_magazine_size                                   0
        spl_kmem_cache_max_size                                       32
        spl_kmem_cache_obj_per_slab                                    8
        spl_kmem_cache_obj_per_slab_min                                1
        spl_kmem_cache_reclaim                                         0
        spl_kmem_cache_slab_limit                                  16384
        spl_max_show_tasks                                           512
        spl_panic_halt                                                 0
        spl_schedule_hrtimeout_slack_us                                0
        spl_taskq_kick                                                 0
        spl_taskq_thread_bind                                          0
        spl_taskq_thread_dynamic                                       0
        spl_taskq_thread_priority                                      1
        spl_taskq_thread_sequential                                    4

Tunables:
        dbuf_cache_hiwater_pct                                        10
        dbuf_cache_lowater_pct                                        10
        dbuf_cache_max_bytes                                 10612026016
        dbuf_cache_shift                                               5
        dbuf_metadata_cache_max_bytes                         5306013008
        dbuf_metadata_cache_shift                                      6
        dmu_object_alloc_chunk_shift                                   7
        dmu_prefetch_max                                       134217728
        ignore_hole_birth                                              1
        l2arc_feed_again                                               1
        l2arc_feed_min_ms                                            200
        l2arc_feed_secs                                                1
        l2arc_headroom                                                 2
        l2arc_headroom_boost                                         200
        l2arc_noprefetch                                               1
        l2arc_norw                                                     0
        l2arc_write_boost                                        8388608
        l2arc_write_max                                          8388608
        metaslab_aliquot                                          524288
        metaslab_bias_enabled                                          1
        metaslab_debug_load                                            0
        metaslab_debug_unload                                          0
        metaslab_df_max_search                                  16777216
        metaslab_df_use_largest_segment                                0
        metaslab_force_ganging                                  16777217
        metaslab_fragmentation_factor_enabled                          1
        metaslab_lba_weighting_enabled                                 1
        metaslab_preload_enabled                                       1
        send_holes_without_birth_time                                  1
        spa_asize_inflation                                           24
        spa_config_path                             /etc/zfs/zpool.cache
        spa_load_print_vdev_tree                                       0
        spa_load_verify_data                                           1
        spa_load_verify_metadata                                       0
        spa_load_verify_shift                                          4
        spa_slop_shift                                                 5
        vdev_removal_max_span                                      32768
        vdev_validate_skip                                             0
        zap_iterate_prefetch                                           1
        zfetch_array_rd_sz                                       1048576
        zfetch_max_distance                                      8388608
        zfetch_max_streams                                             8
        zfetch_min_sec_reap                                            2
        zfs_abd_scatter_enabled                                        1
        zfs_abd_scatter_max_order                                     10
        zfs_abd_scatter_min_size                                    1536
        zfs_admin_snapshot                                             0
        zfs_arc_average_blocksize                                   8192
        zfs_arc_dnode_limit                                            0
        zfs_arc_dnode_limit_percent                                   10
        zfs_arc_dnode_reduce_percent                                  10
        zfs_arc_grow_retry                                             0
        zfs_arc_lotsfree_percent                                      10
        zfs_arc_max                                         339584832512
        zfs_arc_meta_adjust_restarts                                4096
        zfs_arc_meta_limit                                             0
        zfs_arc_meta_limit_percent                                    75
        zfs_arc_meta_min                                               0
        zfs_arc_meta_prune                                         10000
        zfs_arc_meta_strategy                                          1
        zfs_arc_min                                            536870912
        zfs_arc_min_prefetch_ms                                        0
        zfs_arc_min_prescient_prefetch_ms                              0
        zfs_arc_p_dampener_disable                                     1
        zfs_arc_p_min_shift                                            0
        zfs_arc_pc_percent                                             0
        zfs_arc_shrink_shift                                           0
        zfs_arc_sys_free                                               0
        zfs_async_block_max_blocks                                100000
        zfs_autoimport_disable                                         1
        zfs_checksum_events_per_second                                20
        zfs_commit_timeout_pct                                         5
        zfs_compressed_arc_enabled                                     1
        zfs_condense_indirect_commit_entry_delay_ms                    0
        zfs_condense_indirect_vdevs_enable                             1
        zfs_condense_max_obsolete_bytes                       1073741824
        zfs_condense_min_mapping_bytes                            131072
        zfs_dbgmsg_enable                                              1
        zfs_dbgmsg_maxsize                                       4194304
        zfs_dbuf_state_index                                           0
        zfs_ddt_data_is_special                                        1
        zfs_deadman_checktime_ms                                   60000
        zfs_deadman_enabled                                            1
        zfs_deadman_failmode                                        wait
        zfs_deadman_synctime_ms                                   600000
        zfs_deadman_ziotime_ms                                    300000
        zfs_dedup_prefetch                                             0
        zfs_delay_min_dirty_percent                                   60
        zfs_delay_scale                                           500000
        zfs_delete_blocks                                          20480
        zfs_dirty_data_max                                    4294967296
        zfs_dirty_data_max_max                                4294967296
        zfs_dirty_data_max_max_percent                                25
        zfs_dirty_data_max_percent                                    10
        zfs_dirty_data_sync_percent                                   20
        zfs_disable_ivset_guid_check                                   0
        zfs_dmu_offset_next_sync                                       0
        zfs_expire_snapshot                                          300
        zfs_flags                                                      0
        zfs_free_bpobj_enabled                                         1
        zfs_free_leak_on_eio                                           0
        zfs_free_min_time_ms                                         100
        zfs_immediate_write_sz                                     32768
        zfs_initialize_value                        16045690984833335022
        zfs_key_max_salt_uses                                  400000000
        zfs_lua_max_instrlimit                                 100000000
        zfs_lua_max_memlimit                                   104857600
        zfs_max_missing_tvds                                           0
        zfs_max_recordsize                                       1048576
        zfs_metaslab_fragmentation_threshold                          70
        zfs_metaslab_segment_weight_enabled                            1
        zfs_metaslab_switch_threshold                                  2
        zfs_mg_fragmentation_threshold                                95
        zfs_mg_noalloc_threshold                                       0
        zfs_multihost_fail_intervals                                  10
        zfs_multihost_history                                          0
        zfs_multihost_import_intervals                                20
        zfs_multihost_interval                                      1000
        zfs_multilist_num_sublists                                     0
        zfs_no_scrub_io                                                0
        zfs_no_scrub_prefetch                                          0
        zfs_nocacheflush                                               0
        zfs_nopwrite_enabled                                           1
        zfs_object_mutex_size                                         64
        zfs_obsolete_min_time_ms                                     500
        zfs_override_estimate_recordsize                               0
        zfs_pd_bytes_max                                        52428800
        zfs_per_txg_dirty_frees_percent                                5
        zfs_prefetch_disable                                           0
        zfs_read_chunk_size                                      1048576
        zfs_read_history                                               0
        zfs_read_history_hits                                          0
        zfs_reconstruct_indirect_combinations_max                   4096
        zfs_recover                                                    0
        zfs_recv_queue_length                                   16777216
        zfs_removal_ignore_errors                                      0
        zfs_removal_suspend_progress                                   0
        zfs_remove_max_segment                                  16777216
        zfs_resilver_disable_defer                                     0
        zfs_resilver_min_time_ms                                    3000
        zfs_scan_checkpoint_intval                                  7200
        zfs_scan_fill_weight                                           3
        zfs_scan_ignore_errors                                         0
        zfs_scan_issue_strategy                                        0
        zfs_scan_legacy                                                0
        zfs_scan_max_ext_gap                                     2097152
        zfs_scan_mem_lim_fact                                         20
        zfs_scan_mem_lim_soft_fact                                    20
        zfs_scan_strict_mem_lim                                        0
        zfs_scan_suspend_progress                                      0
        zfs_scan_vdev_limit                                      4194304
        zfs_scrub_min_time_ms                                       1000
        zfs_send_corrupt_data                                          0
        zfs_send_queue_length                                   16777216
        zfs_send_unmodified_spill_blocks                               1
        zfs_slow_io_events_per_second                                 20
        zfs_spa_discard_memory_limit                            16777216
        zfs_special_class_metadata_reserve_pct                        25
        zfs_sync_pass_deferred_free                                    2
        zfs_sync_pass_dont_compress                                    8
        zfs_sync_pass_rewrite                                          2
        zfs_sync_taskq_batch_pct                                      75
        zfs_trim_extent_bytes_max                              134217728
        zfs_trim_extent_bytes_min                                  32768
        zfs_trim_metaslab_skip                                         0
        zfs_trim_queue_limit                                          10
        zfs_trim_txg_batch                                            32
        zfs_txg_history                                              100
        zfs_txg_timeout                                                2
        zfs_unlink_suspend_progress                                    0
        zfs_user_indirect_is_special                                   1
        zfs_vdev_aggregate_trim                                        0
        zfs_vdev_aggregation_limit                               1048576
        zfs_vdev_aggregation_limit_non_rotating                   131072
        zfs_vdev_async_read_max_active                                 3
        zfs_vdev_async_read_min_active                                 1
        zfs_vdev_async_write_active_max_dirty_percent                 60
        zfs_vdev_async_write_active_min_dirty_percent                 30
        zfs_vdev_async_write_max_active                               10
        zfs_vdev_async_write_min_active                                2
        zfs_vdev_cache_bshift                                         16
        zfs_vdev_cache_max                                         16384
        zfs_vdev_cache_size                                            0
        zfs_vdev_default_ms_count                                    200
        zfs_vdev_initializing_max_active                               1
        zfs_vdev_initializing_min_active                               1
        zfs_vdev_max_active                                         1000
        zfs_vdev_min_ms_count                                         16
        zfs_vdev_mirror_non_rotating_inc                               0
        zfs_vdev_mirror_non_rotating_seek_inc                          1
        zfs_vdev_mirror_rotating_inc                                   0
        zfs_vdev_mirror_rotating_seek_inc                              5
        zfs_vdev_mirror_rotating_seek_offset                     1048576
        zfs_vdev_ms_count_limit                                   131072
        zfs_vdev_queue_depth_pct                                    1000
        zfs_vdev_raidz_implcycle [fastest] original scalar sse2 ssse3 avx2
        zfs_vdev_read_gap_limit                                    32768
        zfs_vdev_removal_max_active                                    2
        zfs_vdev_removal_min_active                                    1
        zfs_vdev_scheduler                                        unused
        zfs_vdev_scrub_max_active                                      2
        zfs_vdev_scrub_min_active                                      1
        zfs_vdev_sync_read_max_active                                 10
        zfs_vdev_sync_read_min_active                                 10
        zfs_vdev_sync_write_max_active                                10
        zfs_vdev_sync_write_min_active                                10
        zfs_vdev_trim_max_active                                       2
        zfs_vdev_trim_min_active                                       1
        zfs_vdev_write_gap_limit                                    4096
        zfs_zevent_cols                                               80
        zfs_zevent_console                                             0
        zfs_zevent_len_max                                           768
        zfs_zil_clean_taskq_maxalloc                             1048576
        zfs_zil_clean_taskq_minalloc                                1024
        zfs_zil_clean_taskq_nthr_pct                                 100
        zil_maxblocksize                                          131072
        zil_nocacheflush                                               0
        zil_replay_disable                                             0
        zil_slog_bulk                                             786432
        zio_deadman_log_all                                            0
        zio_dva_throttle_enabled                                       1
        zio_requeue_io_start_cut_in_line                               1
        zio_slow_io_ms                                             30000
        zio_taskq_batch_pct                                           75
        zvol_inhibit_dev                                               0
        zvol_major                                                   230
        zvol_max_discard_blocks                                    16384
        zvol_prefetch_bytes                                       131072
        zvol_request_sync                                              0
        zvol_threads                                                  32
        zvol_volmode                                                   1

VDEV cache disabled, skipping section

ZIL committed transactions:                                            0
        Commit requests:                                               8
        Flushes to stable storage:                                     8
        Transactions to SLOG storage pool:            0 Bytes          0
        Transactions to non-SLOG storage pool:        0 Bytes          0

 , , , ,

lignumq
()
2 комментария

не удается установить gpg ключи для PPA (No keyserver available)

Форум — Development

ubuntu 18.04 выполняю, и в некоторых репах пишется ошибка что нет ключа.

apt update

например вот

Err:4 http://ppa.launchpad.net/linbit/linbit-drbd9-stack/ubuntu bionic InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 34893610CEAA9512
Err:8 http://ppa.launchpad.net/tualatrix/ppa/ubuntu bionic Release
  404  Not Found [IP: 91.189.95.85 80]
Get:7 http://ppa.launchpad.net/ubuntu-toolchain-r/test/ubuntu bionic InRelease [20.8 kB]
Err:5 http://ppa.launchpad.net/adiscon/v8-stable/ubuntu bionic InRelease      
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 0F6DD8135234BF2B
Err:7 http://ppa.launchpad.net/ubuntu-toolchain-r/test/ubuntu bionic InRelease
  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 1E9377A2BA9EF27F
Reading package lists... Done

я выполняю и получаю вот что:

[Fri Sep 24 16:09:49 @ ~]:> gpg --keyserver keyring.debian.org --recv 1E9377A2BA9EF27F
gpg: keyserver receive failed: No keyserver available

так же пытался через другие сервера(например keyserver.ubuntu.com), то же самое либо другие ошибки, но при этом и те сервера не пингуются

через другую консоль выполнил и наблюдал следующую команду:

dirmngr --debug-all --daemon --standard-resolver

она во время выполнения получения ключа вывела следующее:

dirmngr[11026.0]:     runtime cached certificates: 0
dirmngr[11026.0]:            trusted certificates: 130 (129,0,0,1)
dirmngr[11026.5]: handler for fd 5 started
dirmngr[11026.5]: DBG: chan_5 -> # Home: /root/.gnupg
dirmngr[11026.5]: DBG: chan_5 -> # Config: [none]
dirmngr[11026.5]: DBG: chan_5 -> OK Dirmngr 2.2.4 at your service
dirmngr[11026.5]: connection from process 11307 (0:0)
dirmngr[11026.5]: DBG: chan_5 <- GETINFO version
dirmngr[11026.5]: DBG: chan_5 -> D 2.2.4
dirmngr[11026.5]: DBG: chan_5 -> OK
dirmngr[11026.5]: DBG: chan_5 <- KEYSERVER --clear hkp://keyring.debian.org
dirmngr[11026.5]: DBG: chan_5 -> OK
dirmngr[11026.5]: DBG: chan_5 <- KS_GET -- 0x1E9377A2BA9EF27F
dirmngr[11026.5]: DBG: dns: getsrv(_pgpkey-http._tcp.keyring.debian.org) -> 0 records
dirmngr[11026.5]: DBG: dns: resolve_dns_name(keyring.debian.org): Success
dirmngr[11026.5]: resolve_dns_addr for 'keyring.debian.org': 'keyring.debian.org' [already known]
dirmngr[11026.5]: resolve_dns_addr for 'keyring.debian.org': 'keyring.debian.org' [already known]
dirmngr[11026.5]: number of system provided CAs: 129
dirmngr[11026.5]: DBG: http.c:connect_server: trying name='keyring.debian.org' port=11371
dirmngr[11026.5]: DBG: dns: resolve_dns_name(keyring.debian.org): Success
dirmngr[11026.5]: can't connect to 'keyring.debian.org': Connection refused
dirmngr[11026.5]: error connecting to 'http://keyring.debian.org:11371': Connection refused
dirmngr[11026.5]: marking host 'keyring.debian.org' as dead
dirmngr[11026.5]: host 'keyring.debian.org' marked as dead
dirmngr[11026.5]: command 'KS_GET' failed: No keyserver available
dirmngr[11026.5]: DBG: chan_5 -> ERR 167772346 No keyserver available <Dirmngr>
dirmngr[11026.5]: DBG: chan_5 <- BYE
dirmngr[11026.5]: DBG: chan_5 -> OK closing connection
dirmngr[11026.5]: handler for fd 5 terminated

сервер этот пингуется

[Fri Sep 24 16:09:24 @ ~]:> ping keyring.debian.org
PING kaufmann.debian.org (82.195.75.107) 56(84) bytes of data.
64 bytes from kaufmann.debian.org (82.195.75.107): icmp_seq=1 ttl=53 time=50.0 ms
64 bytes from kaufmann.debian.org (82.195.75.107): icmp_seq=2 ttl=53 time=47.9 ms
64 bytes from kaufmann.debian.org (82.195.75.107): icmp_seq=3 ttl=53 time=50.4 ms
64 bytes from kaufmann.debian.org (82.195.75.107): icmp_seq=4 ttl=53 time=49.8 ms

sources.list

###### Ubuntu Main Repos
deb http://ru.archive.ubuntu.com/ubuntu/ bionic main universe
deb-src http://ru.archive.ubuntu.com/ubuntu/ bionic main universe

###### Ubuntu Update Repos
deb http://ru.archive.ubuntu.com/ubuntu/ bionic-security main universe
deb http://ru.archive.ubuntu.com/ubuntu/ bionic-updates main universe
deb-src http://ru.archive.ubuntu.com/ubuntu/ bionic-security main universe
deb-src http://ru.archive.ubuntu.com/ubuntu/ bionic-updates main universe

пробовал так же и через apt-key, тоже не добавляет

 , ,

lignumq
()
3 комментария

рестарт демона smbd без прерывания нагрузки на клиенте windows

Форум — Development

Всем привет! Такая проблема, есть сервер(кластер), на котором используется смб, сервер введен в домен AD, так как это кластер, иногда требуется выполнять рестарт службы smbd(reload не подойдет), но при этом если идет какое то копирование файла на клиенте(windows), то нагрузка прерывается(что логично), и после нажатия кнопки «Повторить», загрузка файла начинается с самого начала, можно ли сделать как то что бы нагрузка продолжала идти с того момента где прервалась, может нужно настроить клиента как то. клиент подключается как SMBv3 или SMBv2

сервер на ubuntu 18.04. папка смб создана на зфс

smb.conf:

[global]
	workgroup = TEST247
	realm = test247.ru
	security = ads
	auth methods = winbind
	interfaces = 172.16.11.170/24 
	bind interfaces only = yes
	netbios name = SERVER
	encrypt passwords = true
	map to guest = Bad User
	max log size = 300
	dns proxy = no
	socket options = TCP_NODELAY
	domain master = no
	local master = no
	preferred master = no
	os level = 0
	domain logons = no
	load printers = no
	show add printer wizard = no
	log level = 0 vfs:2
	max log size = 0
	syslog = 0
	printcap name = /dev/null
	disable spoolss = yes
	name resolve order = lmhosts wins host bcast
	machine password timeout = 604800
	name cache timeout = 660
	idmap config TEST247 : backend = rid
	idmap config TEST247 : base_rid = 0
	idmap config TEST247 : range = 100000 - 200000
	idmap config * : range = 200001-300000
	idmap config * : backend = tdb
	idmap cache time = 604800
	idmap negative cache time = 60
	winbind rpc only = yes
	winbind cache time = 120
	winbind enum groups = yes
	winbind enum users = yes
	winbind max domain connections = 10
	winbind use default domain = yes
	winbind refresh tickets = yes
	winbind reconnect delay = 15
	winbind request timeout = 25
	winbind separator = ^
	private dir = /var/lib/samba/private
	lock directory = /run/samba
	state directory = /var/lib/samba
	cache directory = /var/cache/samba
	pid directory = /run/samba
	log file = /var/log/samba/smb.%m
	include = /etc/samba/smb-res.conf

testparm:

testparm -s /etc/samba/smb.conf 

Load smb config files from /etc/samba/smb.conf
WARNING: The "auth methods" option is deprecated
WARNING: The "syslog" option is deprecated
Loaded services file OK.
Server role: ROLE_DOMAIN_MEMBER

конфиг шары: smb-res.conf:

[test109_smb]
	comment = test109_smb share
	path = /config/pool/test109/smb
	browseable = yes
	writable = yes
	inherit acls = yes
	inherit owner = no
	inherit permissions = yes
	map acl inherit = yes
	nt acl support = yes
	create mask = 0777
	force create mode = 0777
	force directory mode = 0777
	store dos attributes = yes
	public = no
	admin users = 
	valid users =  
	write list = 
	read list = 
	invalid users = 
	vfs objects = acl_xattr    
	full_audit:prefix = %S|%u|%I
	full_audit:facility = local5
	full_audit:priority = notice
	full_audit:success = none
	full_audit:failure = none
	shadow: snapdir = .zfs/snapshot
	shadow: sort = desc
	shadow: localtime = yes
	shadow: format = shadow_%d.%m.%Y-%H:%M:%S
	worm: grace_period = 30
	cryptfile: method = grasshopper

 , , ,

lignumq
()
6 комментариев

как использовать новое API ETHTOOL_GLINKSETTINGS/ETHTOOL_SLINKSETTINGS API

Форум — Development

Всем привет, версия ядра 4.19, хочу получить поддерживаемые ‘link modes’ с помощью API ethtool, моя сетевая карточка подерживает много режимов:

Supported link modes:   1000baseKX/Full 
	                        10000baseKR/Full 
	                        40000baseKR4/Full 
	                        40000baseCR4/Full 
	                        40000baseSR4/Full 
	                        40000baseLR4/Full 
	                        25000baseCR/Full 
	                        25000baseKR/Full 
	                        25000baseSR/Full 
	                        50000baseCR2/Full 
	                        50000baseKR2/Full

и я хочу получать эти режимы из своей программы не используя терминал. вот пример кода:

#define ETHTOOL_LINK_MODE_MASK_MAX_KERNEL_NU32 (SCHAR_MAX)
#define ETHTOOL_DECLARE_LINK_MODE_MASK(name)     \
    uint32_t name[ETHTOOL_LINK_MODE_MASK_MAX_KERNEL_NU32]


int netlink_get_link_speed (const char *dev_name, int *speed)
{
    int sock;
    struct ifreq ifr = {{{0}}};
    //struct ethtool_cmd edata = {0};
    int rc;
    //int err;
    struct {
        struct ethtool_link_settings req;
        __u32 link_mode_data[3 * ETHTOOL_LINK_MODE_MASK_MAX_KERNEL_NU32];
    } ecmd;

/*
    struct ethtool_link_usettings {
        struct {
            uint8_t transceiver;
        } deprecated;
        struct ethtool_link_settings base;
        struct {
            ETHTOOL_DECLARE_LINK_MODE_MASK(supported);
            ETHTOOL_DECLARE_LINK_MODE_MASK(advertising);
            ETHTOOL_DECLARE_LINK_MODE_MASK(lp_advertising);
        } link_modes;
    };

    struct ethtool_link_usettings *link_usettings;
    unsigned int u32_offs;*/

    if (0 == strcmp(dev_name, "lo"))
    {
        *speed = 0;
        return ERR_OK;
    }

    sock = socket(PF_INET, SOCK_DGRAM, IPPROTO_IP);
    if (sock < 0) {
        err("Unable to open socket (for location)");
        return ERR_OK;
    }

    memset(&ecmd, 0, sizeof(ecmd));
    ecmd.req.cmd = ETHTOOL_GLINKSETTINGS;

    strcpy(ifr.ifr_name, dev_name);
    ifr.ifr_data = (void *)&ecmd;

    rc = ioctl(sock, SIOCETHTOOL, &ifr);
    if (rc < 0)
    {
        err("Cannot read speed '%s' interface", dev_name);
        close(sock);
        return ERR_SYS_API;
    }

    /* see above: we expect a strictly negative value from kernel.
    */
    if (ecmd.req.link_mode_masks_nwords >= 0
        || ecmd.req.cmd != ETHTOOL_GLINKSETTINGS)
    {
        err("Incorrect kernel answer");
        close(sock);
        *speed = 0;
        return ERR_SYS_API;
    }

    /* got the real ecmd.req.link_mode_masks_nwords,
    * now send the real request
    */
    ecmd.req.cmd = ETHTOOL_GLINKSETTINGS;
    ecmd.req.link_mode_masks_nwords = -ecmd.req.link_mode_masks_nwords;
    rc = ioctl( sock, SIOCETHTOOL, &ifr);
    if (rc < 0)
    {
        err("Cannot read speed '%s' interface", dev_name);
        close(sock);
        return ERR_SYS_API;
    }

    if (ecmd.req.link_mode_masks_nwords <= 0
        || ecmd.req.cmd != ETHTOOL_GLINKSETTINGS)
    {
        err("Incorrect kernel answer");
        close(sock);
        *speed = 0;
        return ERR_SYS_API;
    }
close(sock);
return 0;
}

я выяснил что информация(выставленные биты) вроде как содержатся в переменной link_mode_masks структуры ethtool_link_settings, но как применить не знаю, инфы в интернете не нашел. есть макрос в ethtool.h SUPPORTED_56000baseKR4_Full который путем сравнения битов можно узнать поддерживается этот режим или нет, но он уже устарел, и его просят не использовать, вот выдержка из ethtool.h:

	/* Last allowed bit for __ETHTOOL_LINK_MODE_LEGACY_MASK is bit
	 * 31. Please do NOT define any SUPPORTED_* or ADVERTISED_*
	 * macro for bits > 31. The only way to use indices > 31 is to
	 * use the new ETHTOOL_GLINKSETTINGS/ETHTOOL_SLINKSETTINGS API.
	 */

так как 50000baseKR2/Full равна 35 в списке enum, то макрос написанный выше уже не подойдет. каким образом тогда можно получить поддерживается данный режим или нет?

 ,

lignumq
()
7 комментариев
следующие →

RSS подписка на новые темы