Сабж

Вангую через годик-полтора появления тредов: Ржавый, где мои бэкапы, а Ржавый?!

https://github.com/vtl/ethblk

На имеющемся железе пробрасывает NVMe примерно на его родной скорости, и делает это в два с лишним раза быстрее штатного линуксового nvme-over-tcp. Дальше упирается в мой слабый клиентский комп, но на большом железе производительность растёт до миллионов IOPS через один диск. 50 GbE успешно загружал на полную катушку, был, практически, line rate.

Привет.
С неприятным удивлением для себя обнаружил такую картину на своем сервере:

smd@jupiter:/tank/work/smd/riscv/images$ sudo dd if=new_fedora_image.img of=/dev/zvol/tank/vm/riscv_vm_3
15622144+0 records in
15622144+0 records out
7998537728 bytes (8.0 GB, 7.4 GiB) copied, 693.554 s, 11.5 MB/s

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           8.18    0.00   21.70    2.39    0.00   67.73

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sda              0.00    1.00      0.00      9.00     0.00     1.80   0.00  64.29    0.00    6.60   0.00     0.00     9.00   0.00   0.00
sdb              0.00    1.00      0.00      9.00     0.00     1.80   0.00  64.29    0.00   16.40   0.00     0.00     9.00   0.00   0.00
md0              0.00    2.20      0.00      8.80     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     4.00   0.00   0.00
md1              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
md2              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
sdc            437.00   83.60   2311.20    556.00     0.00     0.00   0.00   0.00    1.57    0.42   0.54     5.29     6.65   0.46  23.76
sdd            436.40   89.00   2374.40    573.60     0.00     0.00   0.00   0.00    1.65    0.33   0.52     5.44     6.44   0.45  23.44
sde            441.80   97.20   2306.40    577.60     0.20     0.00   0.05   0.00    1.31    0.24   0.50     5.22     5.94   0.40  21.76
zd0           1988.80 10326.60   7955.20  41306.40     0.00     0.00   0.00   0.00    0.04    0.71   7.39     4.00     4.00   0.03  31.44
zd16          2008.60    0.00   8034.40      0.00     0.00     0.00   0.00   0.00    0.04    0.00   0.08     4.00     0.00   0.04   8.08
zd32             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
zd48             0.00  705.40      0.00   2821.60     0.00     0.00   0.00   0.00    0.00    0.23   0.16     0.00     4.00   0.01   0.80
zd64             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
zd80             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          12.64    0.00   14.46    0.89    0.00   72.02

Device            r/s     w/s     rkB/s     wkB/s   rrqm/s   wrqm/s  %rrqm  %wrqm r_await w_await aqu-sz rareq-sz wareq-sz  svctm  %util
sda              0.00    4.80      0.00     17.20     0.00     0.40   0.00   7.69    0.00    2.71   0.00     0.00     3.58   0.17   0.08
sdb              0.00    4.80      0.00     17.20     0.00     0.40   0.00   7.69    0.00    4.92   0.00     0.00     3.58   0.17   0.08
md0              0.00    4.20      0.00     16.80     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     4.00   0.00   0.00
md1              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
md2              0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
sdc            664.60   28.40   3924.00   1828.00     0.00     0.00   0.00   0.00    0.91    1.22   0.51     5.90    64.37   0.34  23.76
sdd            680.20   33.40   3883.20   1836.80     0.00     0.20   0.00   0.60    0.99    1.05   0.52     5.71    54.99   0.35  25.04
sde            708.60   52.60   3795.20   1818.40     0.00     0.00   0.00   0.00    0.67    0.42   0.38     5.36    34.57   0.24  18.48
zd0           2514.20    0.00  10056.80      0.00     0.00     0.00   0.00   0.00    0.04    0.00   0.11     4.00     0.00   0.04  10.72
zd16          2581.60    0.00  10326.40      0.00     0.00     0.00   0.00   0.00    0.04    0.00   0.09     4.00     0.00   0.04   9.44
zd32             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
zd48            28.40    0.00    113.60      0.00     0.00     0.00   0.00   0.00    2.03    0.00   0.06     4.00     0.00   2.03   5.76
zd64             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00
zd80             0.00    0.00      0.00      0.00     0.00     0.00   0.00   0.00    0.00    0.00   0.00     0.00     0.00   0.00   0.00

smd@jupiter:/tank/work/dev/images/riscv$ sudo zpool status tank
  pool: tank
 state: ONLINE
  scan: scrub repaired 0B in 7h6m with 0 errors on Sun Mar 10 07:30:58 2019
config:

        NAME                                          STATE     READ WRITE CKSUM
        tank                                          ONLINE       0     0     0
          raidz1-0                                    ONLINE       0     0     0
            ata-WDC_WD40EZRZ-00GXCB0_WD-WCC7K0FU2HCS  ONLINE       0     0     0
            ata-ST2000NM0033-9ZM175_Z1X02J9D          ONLINE       0     0     0
            ata-ST2000NM0033-9ZM175_Z1Y01BZC          ONLINE       0     0     0

errors: No known data errors

smd@jupiter:/tank/work/dev/images/riscv$ sudo zpool list
NAME   SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
tank  5.44T  3.34T  2.10T         -    25%    61%  1.00x  ONLINE  -

smd@jupiter:/tank/work/dev/images/riscv$ sudo zfs get all tank | grep -v default
NAME  PROPERTY              VALUE                  SOURCE
tank  type                  filesystem             -
tank  creation              Wed Feb  5 21:06 2014  -
tank  used                  2.22T                  -
tank  available             1.28T                  -
tank  referenced            2.21T                  -
tank  compressratio         1.01x                  -
tank  mounted               yes                    -
tank  recordsize            16K                    local
tank  mountpoint            /tank                  local
tank  compression           lz4                    local
tank  atime                 off                    local
tank  createtxg             1                      -
tank  xattr                 sa                     local
tank  version               5                      -
tank  utf8only              off                    -
tank  normalization         none                   -
tank  casesensitivity       sensitive              -
tank  guid                  8135613722416036316    -
tank  usedbysnapshots       0B                     -
tank  usedbydataset         2.21T                  -
tank  usedbychildren        18.3G                  -
tank  usedbyrefreservation  0B                     -
tank  refcompressratio      1.01x                  -
tank  written               2.21T                  -
tank  logicalused           2.22T                  -
tank  logicalreferenced     2.20T                  -
tank  acltype               posixacl               local

md@jupiter:/tank/work/dev/images/riscv$ sudo zfs get all tank/vm/riscv_vm_3 | grep -v default
[sudo] password for smd: 
NAME                PROPERTY              VALUE                  SOURCE
tank/vm/riscv_vm_3  type                  volume                 -
tank/vm/riscv_vm_3  creation              Sat Mar 30 17:24 2019  -
tank/vm/riscv_vm_3  used                  2.48G                  -
tank/vm/riscv_vm_3  available             1.28T                  -
tank/vm/riscv_vm_3  referenced            2.48G                  -
tank/vm/riscv_vm_3  compressratio         1.36x                  -
tank/vm/riscv_vm_3  volsize               10G                    local
tank/vm/riscv_vm_3  compression           on                     inherited from tank/vm
tank/vm/riscv_vm_3  createtxg             29871336               -
tank/vm/riscv_vm_3  guid                  1236530763382609933    -
tank/vm/riscv_vm_3  usedbysnapshots       0B                     -
tank/vm/riscv_vm_3  usedbydataset         2.48G                  -
tank/vm/riscv_vm_3  usedbychildren        0B                     -
tank/vm/riscv_vm_3  usedbyrefreservation  0B                     -
tank/vm/riscv_vm_3  dedup                 off                    inherited from tank/vm
tank/vm/riscv_vm_3  refcompressratio      1.36x                  -
tank/vm/riscv_vm_3  written               2.48G                  -
tank/vm/riscv_vm_3  logicalused           2.53G                  -
tank/vm/riscv_vm_3  logicalreferenced     2.53G                  -

Dimez

King_Carlo

vxzvxz

Bluecherry — комплекс DVR (Digital Video Recorder) для видеонаблюдения, состоящий из сервера, работающего на GNU/Linux, и клиента — приложения, работающего на GNU/Linux, MacOS и Windows, а также через сторонние мобильные приложения для Android и iOS.

( читать дальше... )

>>> Подробности (bluecherrydvr.com)

Привет лор, подкинули задачку написать мелкий Web hosting, к сожалению все будет работать на апаче, nginx там не подходит.

Так вот для этой цели решил решил использовать модули «mod_vhost_alias» и «libapache-mpm-itk»

Но тут возник вопрос а может ли https в apache2 работать в одном Virtualhost c несколькими сертификатами? Пример:

Apache2 Virtualhost

<VirtualHost *:443>
 
    DocumentRoot /var/www/vhost
    ServerName example.com
    ServerAlias *.example.com

    VirtualDocumentRoot /var/www/vhost/%1
    LogFormat "%V %h %l %u %t \"%r\" %s %b" combined
    LogLevel warn
    ErrorLog ${APACHE_LOG_DIR}/vhost_error.log
    CustomLog ${APACHE_LOG_DIR}/vhost_access.log combined
    UseCanonicalName Off
    
    <Directory "/var/www/vhost/">
        AllowOverride All
        Options -Indexes
        Require all granted
    </Directory>
    IncludeOptional vhost-enabled/*.conf


</VirtualHost>

cat vhost-enabled/volodya.conf

<Directory "/var/www/vhost/volodya">l
Options +Indexes
Require all granted
AssignUserId volodya volodya
    SSLCertificateFile          /volodya/signed_certificate
    SSLCertificateChainFile     /volodya/intermediate_certificate
    SSLCertificateKeyFile       /volodya/private/key
    SSLCACertificateFile        /voldya/all_ca_certs
</Directory>

cat vhost-enabled/natasha.conf

<Directory "/var/www/vhost/natasha">
Options +Indexes
Require all granted
AssignUserId natasha natasha
    SSLCertificateFile          /natasha/signed_certificate
    SSLCertificateChainFile     /natasha/intermediate_certificate
    SSLCertificateKeyFile       /natasha/private/key
    SSLCACertificateFile        /natasha/all_ca_certs
</Directory>

Ну или указать один путь к сертификатам, и в файле будут все сертификаты, после перебора чтобы подобрал нужный. Судя по документации он только в Virtual Host это может, тогда смысл в mod_vhost_alias отпадает

Context:	server config, virtual host

Всем привет! У меня есть ноут (Arch) и моноблок (Mint). Ноут помощнее, он основная рабочая машина, а моноблок больше нужен для отображения графиков zabbix и т.д.

Как сделать так, чтобы используя клавиатуру ноута и подключенную к ноуту мышь управлять моноблоком? Всякие vnc\rdp не подходят, т.к. мне нужно чтобы изображение было на моноблоке, а не в окне на экране ноута.

Имеется ноут на Intel i5 6440HQ c HD530, хотел бы пощупать виртуализацию gvt-g для запуска гостевой windows 7 с нормальным ускорением для работы с графикой. Обещают что видяха работает почти нативно

Как узнать есть ли у меня поддержка всего этого добра, что еще нужно и какой дистр для этого лучше всего подойдет, арч или гента?

Где взять kvmgt? Насчет поддержки в ядре, то точно видел эти модуля когда последний раз собирал гентушное ядро. Но неужели в поставляемом арчем и гентой QEMU его нет и единственный выход это грязно компилять из исхдников и ставить через make install?

Добрый день.

Изучаю протокол OSPF и принцыпы построения сетей на его основе. В процессе работы построил испытательную сеть: http://flic.kr/p/bq7K7K

Хотелось бы узнать правильно ли я выделил опорную область: R5;R6;R9, темно-фиолетовые линии

Дальнейшая настройка предполагает, выделение следующих областей:
Area 1: R1;R3
Area 2: R2;R4
Area 3: R8;R6
Area 4: R7;R5
Area 5: R10;R9

Опорную область выделял согласно рекомендаций компании Cisco о
построении сетей на основе протокола ospf: «Опорная область должна
быть построена на стабильных каналах и и не терять состояния
связности». Но в таком случае возникает ситуация в которой
маршрутизаторы R5,R6 являются маршрутизаторами ABR для 4
областей(возможно я ошибаюсь) что противоречит рекомендациям Cisco
относительно максимального количества областей(согласно рекомендации
не более 3).

Было еще предположение построить опорную область на основе следующих маршрутизаторов: R3:R4:R5:R6:R9

В таком случае получается три дополнительныз области:
Area 1: R7:R5:R6:R8:R9:R10
Area 2: R3:R1
Area 3: R4:R2

Жду коменнтариев и корректировок(с описанием выбора). Заранее, большое спасибо.

backup.sql ~ 300Gb

mysql -u root -p databasename < backup.sql

Распаковывается четвертый день на Xeon E5 с кучей Gb оперативы на рейд массив.

Так и должно быть или это как-то можно ускорить?

Да я вкурсе про мастер-слейв репликацию.

Состоялся релиз дистрибутива Parrot 4.0. Данный дистрибутив создан для проверки защищённости систем, проведения криминалистического анализа и обратного инжиниринга, предоставляя полностью готовую к работе лабораторию. Дистрибутив основан на Debian Testing, в качестве графического окружения используется MATE. В новом выпуске:

• Обновлены версии ПО: ядро Linux 4.16, LibreOffice 6.0, Firefox 60 и прочие;
  
• Рабочий стол MATE обновлён до версии 1.20, с поддержкой HiDPI;
  
• Представлен экспериментальный сетевой установщик, позволяющий установить только необходимые компоненты в минимальную систему;
  
• Представлены шаблоны для создания Docker-контейнера из Parrot;
  
• Полностью стабилизирована «песочница», построенная на базе AppArmor и профилей Firejail;
  
• В качестве http-сервера отныне используется Nginx, вместо Apache;
  
• Добавлена поддержка работы с RAID через mdadm.

>>> Подробности (parrotsec.org)

Я настроил возможность получать и отправлять письма с помощью десктопного клиента.

Но как настроить линукс сервер, что бы програмно можно было отправлять имейлы.

Возможно нужно настроить postfix. Но я даже в терминах путаюсь. Postfix это имейл агент. Вроде как подходит под эту тему

Надеюсь это не оффтоп

Спасибо за любые коментарии

Приветствую всех!.
Имею популярную проблему: низкая производительность файловой системы на госте (windows) который крутится под проксмоксом.
Грубо говоря - тормозит виртуалка....
Что имею по железу:
4 ноды с одинаковым конфигом (2*xeon 5645, 48GB ram, ssd 32gb, hdd sata2=1tb, 2*1Gbit lan)
1 nas - hp dl320s (контроллер p400, 512 кеша+батарейка, xeon 3060, 8gb ram, 2*1Gbit lan, 12*1tb wd black re в raid 6)
1 гигабитный свитч hp procurve 4104
На нодах стоит proxmox 4.4-5 в режиме ha cluster.
ceph не поднимал
Сейчас NAS не подключен. виртуалки стоят на локальных хардах.
Если надо - то все красиво мигрирует, клонируется и т.п. но это в настоящий момент меня не беспокоит.
Теперь что касается тормозов: в режиме линейного копирования большие файлы (4gb) копируются внутри гостя (130-140 мб/сек) и по сети (гость-живой комп) отлично - скорость - 100 мб/сек
Однако, при копировании большого количество мелких файлов (10000 файлов средним размером 100-200 килобайт) - начинается просадка скорости до 25 мб/сек, как внутри гостя, так и по сетке.
Образы виртуалок стартуют с опцией cache=writeback
(пробовал со свсеми настройками кеширования - последний показал себя лучше всех)
На госте стоит win2k8r2, и он при работе тоже характерно тормозит... Естественно, внутри гостя используются virtio драйверы.

вопрос1: не связано ли это с хранением файлов с виртуалками на локальном сторедже?...
вопрос2 (глобальный, и, возможно, риторический): как правильно использовать все мое железо для максимальной производительности?
Читал много про НАСы с zfs... но вроде как не помещаюсь с производительностью платформы наса...

PS: до этого виртуалки крутил только под убунтой безо всяких кластеров - при помощи либвирта... (конфигурялка virsh+ иксовая приблуда virt-manager). Там тоже наблюдались просадки, но почему-то я на них не сильно обращал внимание. Там крутилось только пара-тройка машин и требований к ним никаких не было :(

По совету данному мне в этом топике Как правильно организовать кластер на Proxmox , попытался поднять ссд-кеширование в lvm.
В общем-то все у меня получилось, но мучает меня один баааааальшой вопрос:при включенном кешировании невозможно создавать новые логические тома в пуле?
Т.е. чтобы добавить том надо выключить кеш, добавить том, переинициализировать кеш? ПРоцедура добавления тома должна быть именно такой? это же катастрофа какая-то, потому что у меня на томах планировалось разворачивать виртуальные машины... а их предпологается десятка 2-3... :( и сразу я не знаю сколько мне их понадобится...
вообще - насколько я понял, при любых манипуляциях с томом придется отключать кеш?
я может чего-то где-то проглядел? или есть какой-то правильный автоматизирующий механизм этих действий?

Всем доброго времени суток.

Подскажите, можно узнать в какую папку активно пишет служба? Или, если она пишет в несколько каталогов, то можно как-то выяснить в какую она пишет дольше. Как пример, есть dovecot+postfix. Периодически dovecot начинает что-то в огромных количествах писать (что-то, понятно,что это письма). Вероятно, это происходит когда кто-то включает компьютер, который давно не включался, туда наваливается куча писем, а потом эту кучу писем еще и как прочитанные помечают.

Ну там докер через веб например перезапустить, монго сбекапить. Все тот же заббикс, или еще что-то нарисовали?

Здравствуйте.

Есть 4 сервера с операционной системой CentOS 7, на всех серверах стоит по 2 HDD диска и по 2 SSD накопителя. Создано 2 программных RAID-1 массива (один на HDD, другой на SSD).

Из указанных дисков HDD создано хранилище на базе LVM с кешированием на SSD дисках в режиме writeback.

После обновления пакетов lvm до версии 2.02.171-8 (последняя доступная версия в официальном репозитории), чтение с SSD дисков возросло в 2-3 раза и одновременно с этим возросла запись на HDD диски (пропорционально чтению с SSD дисков).

Хранилище используется под виртуальные машины на базе QEMU-KVM, нагрузка с их стороны не менялась. Одновременно с обновлением пакетов lvm производилось обновление всей системы (то есть ядро, qemu также были обновлены).

Ради эксперимента, на одном из серверов с низкой нагрузкой я переключил режим кеширования с writeback на writethrough, чтение с SSD и запись на HDD сразу снизились.

По ссылке https://yadi.sk/d/0a7fULcv3SrmrM можете посмотреть графики записи и чтения с дисков. На сервере 1 виден скачок чтения и записи после обновления и перезагрузки системы, на сервере 2 видно резкое снижение чтения и записи после переключения кеширования в режим writethrough.

Я пробовал искать подобные проблемы в сети, но ничего найти не смог. Также изучал https://bugzilla.redhat.com/buglist.cgi?quicksearch=lvm2 и https://bugs.debian.org/cgi-bin/pkgreport.cgi?pkg=lvm2;dist=unstable , ничего похожего не нашел.

Откатился с ядра 3.10.0-693.21.1.el7.x86_64 обратно на 3.10.0-514.26.2.el7.x86_64, проблема осталась. Пробовал поставить 4.4.120-1.el7.elrepo.x86_64, проблема также сохраняется. Откатил LVM вместе с зависимостями от 2.02.171-8 к 2.02.166-1, проблема также сохранилась.

Что это может быть? Ошибка статистики или же система действительно по каким-то причинам пишет больше, чем должна? Куда копать в данном случае?

Сразу скажу - нет, петух не клюнул, тестирую бэкап и восстановление

Как такие бэкапы делать - легко и понятно. А вот как восстанавливать..
Вот здесь https://www.percona.com/doc/percona-xtrabackup/1.6/xtrabackup_bin/exporting_i... , насколько я понял для КАЖДОЙ таблицы надо вручную воссоздавать ее структуру (create a table with the same structure, and then perform the following steps). Как-то очень не очень. Или есть другой путь? Нужен частичный бэкап не таблицами, а базами. Немного запутался уже

Плюс как быть с восстановлением твблиц MYISAM? - для них не создается *.exp файлов

Советы типа брось xtrabackup/mariabackup и пользуй вот это тоже принимаются, но аргументированные.

mysqldump работает долго, грузит базу запросами и, как понимаю, результат неконсистентен, если во время бэкапа идет запись

Приветствую.

Решил поставить сервер OpenVPN, нашел хороший мануал:

https://1cloud.ru/help/linux/kak-ustanovit-i-nastroit-openvpn-na-centos7.

Выполнит только первые две команды:

./easyrsa init-pki
./easyrsa build-ca

Соственно сабж. Последние годы отошел от администрирования в сторону веб-разработки. И хотел бы уточнить какие сейчас требования для сферического сисадмина в вакууме.

https://youtu.be/FeTzMD3Hk4A

Не прошло и 17 лет.