LINUX.ORG.RU

Сообщения Vlad-76

 

Сломалась USB флешка? как можно реанимировать или восстановить данные?

[11922193.738021] usb 2-1: new full-speed USB device number 2 using uhci_hcd
[11922194.065013] usb 2-1: device descriptor read/64, error -71
[11922194.515011] usb 2-1: device descriptor read/64, error -71
[11922194.728012] usb 2-1: new full-speed USB device number 3 using uhci_hcd
[11922195.065013] usb 2-1: device descriptor read/64, error -71
[11922195.515011] usb 2-1: device descriptor read/64, error -71
[11922195.616023] usb usb2-port1: attempt power cycle
[11922196.030011] usb 2-1: new full-speed USB device number 4 using uhci_hcd
[11922196.604010] usb 2-1: device not accepting address 4, error -71
[11922196.716012] usb 2-1: new full-speed USB device number 5 using uhci_hcd
[11922197.304010] usb 2-1: device not accepting address 5, error -71
[11922197.304191] usb usb2-port1: unable to enumerate USB device

 

Vlad-76
()

Virtuozzo Linux 7.7. Медленно стартует контейнер.

Жил контейнер на первой ноде и было так.

2023-08-23T16:29:39+0300 vzctl : CT 203 : Starting Container ...
2023-08-23T16:29:39+0300 vzctl : CT 203 : Mount image: /vz/private/203/root.hdd
2023-08-23T16:29:39+0300 : Opening delta /vz/private/203/root.hdd/root.hds
2023-08-23T16:29:39+0300 : Opening delta /vz/private/203/root.hdd/root.hds
2023-08-23T16:30:00+0300 : Opening delta /vz/private/203/root.hdd/root.hds
2023-08-23T16:30:00+0300 : Adding delta dev=/dev/ploop27250 img=/vz/private/203/root.hdd/root.hds (rw)
2023-08-23T16:30:01+0300 : Mounted /dev/ploop27250p1 at /vz/root/203 fstype=ext4 data=',balloon_ino=12'
2023-08-23T16:30:01+0300 vzctl : CT 203 : Container is mounted
2023-08-23T16:30:01+0300 vzctl : CT 203 : Setting permissions for image=/vz/private/203/root.hdd
2023-08-23T16:30:01+0300 vzctl : CT 203 : Configure memguarantee: 0%
2023-08-23T16:30:01+0300 vzctl : CT 203 : Setting permissions for image=/vz/private/203/root.hdd
2023-08-23T16:30:01+0300 vzctl : CT 203 : Setting devices
2023-08-23T16:30:01+0300 vzctl : CT 203 : Adding ip address(es): 9.11.34.13 192.168.5.10 10.10.1.17
2023-08-23T16:30:04+0300 vzctl : CT 203 : Warning: distribution not specified default used /usr/libexec/libvzctl/dists/default
2023-08-23T16:30:05+0300 vzctl : CT 203 : Set hostname: billing
2023-08-23T16:30:05+0300 vzctl : CT 203 : File resolv.conf was modified
2023-08-23T16:30:05+0300 vzctl : CT 203 : Container start in progress...


После чего контейнер был запущен на второй ноде. С нее производились бекапы на первую через монтирование ploop диска (vzctl mount) и rsync.

После этого переезда на нодах было обновление Virtuozzo Linux 7.7 до последних версий того что обновлятор пожелал обновить.

После контейнер «вернулся» на первую ноду, и теперь при старте контейнера в логах возникают «дельты». Далее приведен не самый худший случай по времени старта контейнера, худший был 18минут!!! столько происходило открывание предпоследней дельты.

2023-10-18T13:41:44+0300 vzctl : CT 203 : Starting Container ...
2023-10-18T13:41:44+0300 vzctl : CT 203 : Mount image: /vz/private/203/root.hdd
2023-10-18T13:41:44+0300 : Opening delta /vz/private/203/root.hdd/root.hds
2023-10-18T13:41:44+0300 : Opening delta /vz/private/203/root.hdd/root.hds
2023-10-18T13:41:44+0300 : Opening delta /vz/private/203/root.hdd/root.hds
2023-10-18T13:43:57+0300 : Opening delta /vz/private/203/root.hdd/root.hds
2023-10-18T13:43:57+0300 : Adding delta dev=/dev/ploop11040 img=/vz/private/203/root.hdd/root.hds (rw) type=0
2023-10-18T13:43:57+0300 : Mounted /dev/ploop11040p1 at /vz/root/203 fstype=ext4 data=',balloon_ino=12'
2023-10-18T13:43:57+0300 vzctl : CT 203 : Container is mounted
2023-10-18T13:43:58+0300 vzctl : CT 203 : Setting permissions for image=/vz/private/203/root.hdd
2023-10-18T13:43:58+0300 vzctl : CT 203 : Setting permissions for image=/vz/private/203/root.hdd
2023-10-18T13:43:58+0300 vzctl : CT 203 : Setting devices
2023-10-18T13:43:58+0300 vzctl : CT 203 : Adding ip address(es): 9.11.34.13 192.168.5.10 10.10.1.17
2023-10-18T13:44:01+0300 vzctl : CT 203 : Can't get ostemplate name form /vz/private/203/root.hdd/templates
2023-10-18T13:44:01+0300 vzctl : CT 203 : Warning: distribution not specified default used /usr/libexec/libvzctl/dists/default
2023-10-18T13:44:01+0300 vzctl : CT 203 : Set hostname: billing
2023-10-18T13:44:02+0300 vzctl : CT 203 : File resolv.conf was modified
2023-10-18T13:44:02+0300 vzctl : CT 203 : Container start in progress...

Правильно я понимаю что дельты возникает если изначально заданный размер диска контейнера переполнялся. Каждое переполнение добавляет дельту. врядли от обновления софта.
Как избавиться от дельт? Думаю что они виноваты в медленной загрузке контейнера.

Размеры дисков контейнеров на нодах разные, не следил как это получилось. размер диска контейнера порядка 825562008 в 1к блоках.

ps
пересоздать контейнер не уверен что получиться, этот контейнер со времен OpenVZ6, переезжал на Virtuozzo 7 через команду vzdump. Внутри контейнера древний lanbilling на CentOS release 5.2.

 ploop,

Vlad-76
()

Можно ли и как проверить что SMART у БУ диска HDD SATA не скручен?

Вот такой диск - Жесткий диск 3.5" Western Digital RE4 1 Тб WD1003FBYX 1 Тб SATA-II

 hdd sata

Vlad-76
()

Как происходит работа ядер многоядерного процессора, последовательно или параллельно?

на трубе смотрел ролик и докладчик медленно, как будто специально, рассказывал - что на каждый импульс (как я понял тактовой частоты), в многоядерном процессоре работает одно ядро. т.е. первый импульс, тактирует/дергает первое ядро, второй второе, третий третье и т.д. по кругу.
Но что то не смог найти внятного объяснения в поисковиках что это именно так.
интересно прям как на самом деле.
всегода думал что ядра работают параллельно, а может оказаться что по очереди.
И с точки зрения программирования, если потоки задачи на разных ядрах, ломанулись в кэш за одной и той же переменной (параллельная работа ядер), то кто разрулит ситуацию, чтобы лбами не столкнулись потоки? при поочередной работе ядер понятно - первое заняло, (выставило лок условно). Затем второе обратилось - увидело лок и ждет. это я утрировано описываю как представляю.
Просьба поделиться инфой по поводу параллельной или последовательной работы ядре многоядерного процессора?

 

Vlad-76
()

OpenVZ7, исчезло место в контейнере.

/# du -sch /*
11M     /bin
4.0K    /boot
20K     /dev
16M     /etc
356K    /home
43M     /lib
4.0K    /lib64
16K     /lost+found
4.0K    /media
4.0K    /mnt
4.0K    /opt
0       /proc
23G     /root
1.2M    /run
5.7M    /sbin
4.0K    /srv
0       /sys
52K     /tmp
5.7G    /usr
926M    /var
30G     total

Пишет что 23G в root. Проверяем

# du -sch /root/*
90M     /root/1
90M     total
из хоста
# df -k
Filesystem             1K-blocks       Used Available Use% Mounted on
/dev/ploop11307p1       30830500   30495960         0 100% /vz/root/243
# du -cms /* | sort -rn
29739   total
22996   /root
5742    /usr
926     /var
43      /lib
16      /etc
11      /bin
6       /sbin
2       /run
1       /tmp
1       /srv
1       /opt
1       /mnt
1       /media
1       /lost+found
1       /lib64
1       /home
1       /dev
1       /boot
0       /sys
0       /proc
# du -cms /root/* | sort -rn
90      total
90      /root/1
Компилил вчера go в виртуалке. Не дождался, лег спать, а сутра такое. )) и go недокомпилился, ругалось на нехватку места на диске
В норме обычно занято не более 22-25%.
Виртуалку ребутал
почему /root занял, если компилил в /usr/local/src
«vacuum» для ploop диска нужен?

 ,

Vlad-76
()

чем восстановит удаленный файл на Linux ? размер на фс ext4, размер +-800 байт, текстовый ASCII файл

грохнул файл на фс ext4 . размер файла меньше килобайта +-800 байт обычный текстовый ASCII файл , внутри xml
можно и под виндой утилиты

 

Vlad-76
()

каким mysql запросом связать строки из двух таблиц у которых между собой нет жесткой связи по полю id?

есть две таблицы в двух базах, сервер один.
в таблицы данные попадают с разных серверов у которых может отличаться время - до 5-10сек (не принципально на самом деле).
Как правильно связать строки из разных таблиц у которых два поля совпадают, а третьи поля таблиц «время» могут отличаться до десятков секунд

 

Vlad-76
()

Какие процессы жизненно необходимы в openvz контейнере Debian11?

Создал контейнер openvz Debian11 штатными средствами viruozzo 7 и запускаются следующие процессы

root           1       0  0 Jul25 ?        00:00:02 init -z
root          63       1  0 Jul25 ?        00:00:12 /lib/systemd/systemd-journald
root          84       1  0 Jul25 ?        00:00:00 /lib/systemd/systemd-udevd
systemd+      88       1  0 Jul25 ?        00:00:02 /lib/systemd/systemd-networkd
root         217       1  0 Jul25 ?        00:00:00 /usr/sbin/cron -f
message+     218       1  0 Jul25 ?        00:00:00 /usr/bin/dbus-daemon --system --address=systemd: --nofork --nopidfile --systemd-ac
root         221       1  0 Jul25 ?        00:00:02 /usr/sbin/rsyslogd -n -iNONE
root         231       1  0 Jul25 ?        00:00:00 /lib/systemd/systemd-logind
root         233       1  0 Jul25 ?        00:00:49 /usr/bin/python3 /usr/bin/fail2ban-server -xf start
root         309       1  0 Jul25 ?        00:00:03 sshd: /usr/sbin/sshd -D [listener] 0 of 10-100 startups
root         507       1  0 Jul25 ?        00:00:00 /usr/sbin/saslauthd -a pam -c -m /var/run/saslauthd -n 2
root         508     507  0 Jul25 ?        00:00:00 /usr/sbin/saslauthd -a pam -c -m /var/run/saslauthd -n 2
Debian-+     516       1  0 Jul25 ?        00:00:00 /usr/sbin/exim4 -bd -q30m
root         585       1  0 Jul25 ?        00:00:00 /usr/sbin/xinetd -pidfile /run/xinetd.pid -stayalive -inetd_compat -inetd_ipv6
root       36840       1  0 17:54 pts/0    00:00:00 -bash
root       41926       1  0 23:39 ?        00:00:00 /sbin/agetty -o -p -- \u --noclear tty2 linux
root       41927       1  0 23:39 ?        00:00:00 /sbin/agetty -o -p -- \u --noclear --keep-baud console 115200,38400,9600 linux

Что можно безболезненно деактивировать через sysyemctl кроме ssh,exim, fail2ban,cron ?
init - нонятно, что родитель всех процесов контейнера.
agetty - эта штука работает же с физическим (com) портом? xinetd для чего запускается - если нет даже телнет сервера в системе? хотя и слушает только unix socket

 

Vlad-76
()

с++ привести тип std::string к указателю на другой тип

server.cpp:81:66: error: invalid initialization of reference of type ‘const OctetStringPtr&’ {aka ‘const std::shared_ptr<std::vector<unsigned char> >&’} from expression of type ‘std::string’ {aka ‘std::__cxx11::basic_string<char>’}

Или что почитать грамотное про это?

 

Vlad-76
()

К библиотеке на с++ добавить поддержку http server-а

Примерное ТЗ,с пониманием на текущий момент.
Есть библиотека(далее либа) компилируется под Debian10 и выше, есть пример ее использования. Исходники библиотеки не передаются (есть лицензионные условия ее пользования, возможно через подпись документов и можно будет передать, пока не знаю как), только заголовочные файлы, сама либа, пример ее использования,какие то доки к ней.

Либа представляет собой сервис(демон), у которого встроен интерфейс взаимодействия с внешним миром с такими же либами запущенными где то в интернете, либа должна работать в режиме 24х7. В фоне выполняет различные операции,пишет логи во время своей работы при взаимодействии с внешним миром, крутит внутренние шестренки. При первом запуске грузит много инфы с внешних серверов (10-15минут, так написано в документации).

Можно взять любой стабильный веб сервер из инета nginx или CrowCpp/Crow или другой соответствующий/подходящий для решения задачи) и внутрь его внедрить либу. Иначе можно сказать - к либе прикручиваем HTTP server и выполняем код либы с HTTP server ом в оперативке в режиме 24х7.

Mожно в main web сервера засунуть запуск библиотеки и дергать ее API.

Алгоритм работы/взаимодействия с web сервером прикрученному к либе. Отправляем web серверу POST запрос с токеном и двумя строками, сервер переформатирует запрос и вызвает метод либы. Либа умеет работать асинхронно, через передачу методу запроса и коллбека. В случае ответа либы (вызвался коллбек), пишем данные из ответа в нужном формате (TXT|CSV) в файл с именем = токену. GET запросом к серверу забираем файл с токеном.

Логи пишем на ФС - тайминги когда пришел на сервер запрос с токеном, когда либа вызвала коллбек. С Вас исходники,компоновка, (Make файл), описание как все собрать с нуля,какие зависимости, репозиторий делаем на гитлаб (к примеру). Возможно лучше (сразу) сделать в doker контейнере.

Цена договорная, предлагайте.

Могу помогать чем смогу)))

 

Vlad-76
()

Вероятность доехать до своего (или X ого пассажира) этажа без остановок, при N пассажирах вошедших в лифт. Какая формула?

думаю понятна задача, можно еще добавить что на этаже 4 ре квартиры, дом 20 этажей. Но это я думаю просто константы в формуле

засела задача, почти каждый день натыкаюсь на нее. Просто интересно.

 вероятность

Vlad-76
()

Как в системе CentOS 6.9 обновить компилятор gcc?

Хотел обновить софт, а его разработчики переехали на новое окружение разработки, в т.ч. на новый компилятор и их софт со старым компилятором стал не совместим
https://bird.network.cz/pipermail/bird-users/2019-August/013642.html

Система установлена полностью из репов
в подключенных репах видно вот такой компилятор
mingw64-gcc-c++.x86_64 4.9.2-1.el6 epel
это эквивалент установленного gcc-4.4.7-18.el6.x86_64 ?
Как выйти из ситуации чтобы малой кровью решить задачу компиляции софта новым компилятором.
В системе есть еще модули, которые собирались нормально со старым компилятором и ломать это не нужно.

ядро в системе 4.12.0-1.el6.elrepo.x86_64

 ,

Vlad-76
()

Как включить турбо буст на процессоре Intel?

Ядро 4.12.0-1.el6.elrepo.x86_64 стартует с параметрами intel_idle.max_cstate=0 processor.max_cstate=1
Мониторю частоту работы процессора программой i7z
но до частот турбо буста ядра ни разу не разгонялись, по крайней мере сколько смотрел ни разу не видел
кусок вывода i7z

 Max Frequency without considering Turbo 2399.00 MHz (133.28 x [18])
  Max TURBO Multiplier (if Enabled) with 1/2/3/4 cores is  20x/20x/19x/19x
так вот на частоте х18 ядра проца постоянно и работают, но ни разу не видел чтобы хоть одно ядро работало на частоте 20x
Вот i7z пишет - «Max TURBO Multiplier (if Enabled)»
Какой командой ядру или модулю ядра сказать что используй турбо буст?

 

Vlad-76
()

Лучшие инструменты восстановления файловой системы ext4? посоветуйте

грохнулись файловые системы разделов, какими утилитами восстановить?
acronis?
какая может быть схема восстановления?

 

Vlad-76
()

Понадобился дистрибутив Mandriva Linux release 2012.0 (Official) for i586

Какие зеркала linux долго не чистят старье? киньте ссылку

 

Vlad-76
()

Не открывается сайт, ddos ят походу. Что лучше сделать?

Заметил что сайт стал медленно открываться, а иногда и вовсе не открывается. Сайт-визитка,чисто html файл, весит 42кб, умеет отправлять письма из php скрипта, есть несколько картинок на нем.
На сервере смотрю в логи http, есть запросы но их не так много 20-30 запросов (GET|POST) в сек.

Просмотрел число ТCP сокетов/соединений на 80 порт #netstat -anp а там интересно - висит порядка 750 соединений/попыток соединений. TCP cоединения в состоянии SYN_RECV,TIME_WAIT,ESTABLISHED,FIN_WAIT1,FIN_WAIT2,CLOSE_WAIT,LAST_ACK и другие возможно

Добавил ручками в iptables IP с которых шли попытки соединений SYN_RECV, но это не сильно помогло, список пополнился новыми

Судя по tcpdump на 80 порт прилетает где то 1000-1200 пакетов в секунду. и руками задолбаешься добавлять IP

что нужно настроить на сервере, чтобы помогло?

Про конторы которые занимаются защитой сайтов от типа ddos я знаю

 ,

Vlad-76
()

Система не видит новый диск Western Digital WD Gold 4 ТБ WD4003FRYZ. Битый диск? Возвращать по гарантии или руки кривые?

В серваке подыхает диск, купил новый на замену Western Digital WD Gold 4 ТБ WD4003FRYZ - WD4003FRYZ-01F0DB0
Вставил его в корзину, но RAID контроллер (контроллер ServeRAID M5016) его не видит никак. Попробовал в другой сервер вставить (контроллер в нем по сути похож на первый) - такая же фигня.
Биос десктопной материнки ASUS P8H77-M, диск не видит. Винда 7 на этой материнке тоже не видит диск.
Биос материнки N-68GS3 UCC как то частично с диском взаимодействует, при инициализации bios - ругается на диск (bios останавливает загрузку и выкидывает ошибку). Если зайти в биос - то диск видно. Если загрузить windows 7 на этой материнке то диск через «управление дисками» отображается, но при попытке его инициализировать - ошибка.
Кабели разные пробовал

диск SATA3 - 6GB/s, он же обратно совместим?
возвращать? или руки не из того места?
Не знаю что и делать.

 

Vlad-76
()

Как организовать быстрый поиск соответствия IP адреса по списку сетей ?

Есть
1. файл с информацией об IP пакетах - src_ip,dst_ip, bytes. в котором порядка 8452к записей и их число растет
2. файл с информацией - сеть/маска , AS num. в котором порядка 866к записей
Нужно dst_ip каждой записи первого файла сматчить по сеть/маска записи второго файла и посчитать байты всех сматченных записей.чтобы в итоге получить число байт которое ушло на AS num
как организовать быстрый поиск соответствия? пробегать записью первого файла по второму - в лоб так сказать, видится не оптимальным.
можно табличку с результатами использовать как КЭШ, т.е. сначала по ней искать, в случае не нахождения по табличке в которую положу весь файл п.2 вычеркивая из табличики файла п.2 запись
либо составить дерево с ветками по первому октету сети и разбить табличку с файлом п.2 на 255 веток и уже после сделать тупой перебор
Можно привести строку файла п.2. к записи в которой сеть преобразовать к диапазону целых чисел - 1 поле - число с которого начинается сеть и 2 поле - число которым заканчивается сеть
Какими могут быть подходы для сокращения преобразований и ускорения поиска ?

 

Vlad-76
()

Разыскивается мессенджер с мобилок со своим сервером + шифрование обмена сообщениями.

кто что использует?
чтобы клиенты под мобилки (андроид, иос и тд) были

 

Vlad-76
()

Можно ли прослушать https(TLSv1.3) трафик ? какие есть варианты 100% защищенности https соединения?

Почитал пару дней про шифрование, сертификаты и все такое и даже поднял TLSv1.3 на nginx ))
Но нарвался на статьи где wireshark ом могут прослушать передаваемый трафик
И стало стремновато, везде пишут что TLSv1.3 круто, но насколько реально его использование супер надежно (невозможно расшифровать передаваемый трафик) не нашел статей

буду признателен если есть ссылки и схемы настройки для защиты https трафика.

кто знает что реально или не реально прослушать трафик шифруемый с использованием TLSv1.3 ?

планируемые клиенты - это браузеры мобильных телефонов и компов.

PS
сделал wiresark ом дамп обмена трафиком на сервер и увидел что в дампе внутри TLSv1.3 данных передаются данные TLSv1.2 который как бы вообще менее надежный.

 

Vlad-76
()

RSS подписка на новые темы