LINUX.ORG.RU

Сообщения Tanger

 

Таблицы на главной

Сейчас (imgur) выглядит кашей. В самой новости ещё более менее.

Может хотя бы border+небольшой padding добавить? (imgur)

 ,

Tanger ()

Поиск софтины для ручного анализа логов (греп с динамическими правилами)

В debug режиме приложение выдает очень много сообщений, которые мешают читать лог.

Поэтому я делаю как-то так:

grep -vE "some-message|other-message|third-message|..." | less

Для каждого добавления/удаления исключения из логов приходится выходить из less и редактировать паттерн.

Существует ли консольная программа, которая позволяет фильтровать строки (и отключать все/часть фильтров) с сохранением курсора на текущей строке?

Хочется:

  • возможность редактировать фильтр. И желательно не в виде regex с |. Либо curses-меню, либо псевдоокно: по строке на pattern
  • сохранять текущую отображаемую строку при изменении правил фильтрации
  • отображать номер строк в исходном файле

 

Tanger ()

А может снизить количество Vivaldi на ЛОРе?

@Shpankov, @Shaman007

КоммерческоеПроприетарное ПО. 6 новостей за пол года. Даже не мини-новости. Сколько ЛОРу платят за площадку для рекламы?

 ,

Tanger ()

производительность zfs на медленных hdd с cache=standard

Собрал zraid2 на proxmox из 6ти HDD на 2TB (ST2000LM015, планируются использоваться под репликации, бекапы и файлопомойку, основные данные на SSD).

Создал VM на этом zraid и хотел поставить туда debian. Но установка системы шла дико долго во время установки пакетов. Минут через 30 остановил.

Отключение синхронизации (zfs set sync=disabled raid) решила проблему производительности. Установилось быстро.

Почему так происходит? Для работы на медленных hdd требуется использовать l2arc из ssd?

Почитал ресурсы:

Параметры zpool:

  • ashift=12
  • compression: lz4
# zpool status raid
  pool: raid
 state: ONLINE
  scan: none requested
config:

	NAME        STATE     READ WRITE CKSUM
	raid        ONLINE       0     0     0
	  raidz2-0  ONLINE       0     0     0
	    sda     ONLINE       0     0     0
	    sdb     ONLINE       0     0     0
	    sdc     ONLINE       0     0     0
	    sdd     ONLINE       0     0     0
	    sde     ONLINE       0     0     0
	    sdf     ONLINE       0     0     0

errors: No known data errors

Параметры запуска vm:

/usr/bin/kvm
  -id 401
  -name wg-sm
  -chardev socket,id=qmp,path=/var/run/qemu-server/401.qmp,server,nowait
  -mon chardev=qmp,mode=control
  -chardev socket,id=qmp-event,path=/var/run/qmeventd.sock,reconnect=5
  -mon chardev=qmp-event,mode=control
  -pidfile /var/run/qemu-server/401.pid
  -daemonize
  -smbios type=1,uuid=0ce21302-e7ed-4c6d-8a34-32969e605407
  -smp 2,sockets=1,cores=2,maxcpus=2
  -nodefaults
  -boot menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg
  -vnc unix:/var/run/qemu-server/401.vnc,password
  -cpu kvm64,enforce,+kvm_pv_eoi,+kvm_pv_unhalt,+lahf_lm,+sep
  -m 2048
  -device pci-bridge,id=pci.1,chassis_nr=1,bus=pci.0,addr=0x1e
  -device pci-bridge,id=pci.2,chassis_nr=2,bus=pci.0,addr=0x1f
  -device vmgenid,guid=71c2d10c-a1aa-4b57-ab00-1e2bf77de1b6
  -device piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2
  -device usb-tablet,id=tablet,bus=uhci.0,port=1
  -device VGA,id=vga,bus=pci.0,addr=0x2
  -device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3
  -iscsi initiator-name=iqn.1993-08.org.debian:01:7759181d764
  -drive file=/var/lib/vz/template/iso/debian-10.7.0-amd64-netinst.iso,if=none,id=drive-ide2,media=cdrom,aio=threads
  -device ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=200
  -device virtio-scsi-pci,id=scsihw0,bus=pci.0,addr=0x5
  -drive file=/dev/zvol/raid/vm-401-disk-0,if=none,id=drive-scsi0,cache=writeback,discard=on,format=raw,aio=threads,detect-zeroes=unmap
  -device scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,bootindex=100
  -netdev type=tap,id=net0,ifname=tap401i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on
  -device virtio-net-pci,mac=B6:B4:5B:24:88:66,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300
  -machine type=pc+pve0

-drive file=/dev/zvol/raid/vm-401-disk-0,if=none,id=drive-scsi0,cache=writeback,discard=on,format=raw,aio=threads,detect-zeroes=unmap

# pveversion -v | grep zfs
zfsutils-linux: 0.8.3-pve1

cast @imul, @system-root, @Harliff, @King_Carlo

 ,

Tanger ()

Посоветуйте колокейшн в Москве на 1 1U сервер

Вроде вопрос давно не поднимался.

Собираемся прикупить 1U сервер. Думаю где его разместить.

Кто чем пользуется? Чем на практике TIER II от TIER III отличается?

  • Возможен ли физический доступ к оборудованию в стойке?
  • Какие услуги по обслуживанию предоставляет колокейшн-провайдер? Замена HDD? Если да, то на какой и по каким ценам?
  • Как предоставляется доступ IPMI/KVM-IP? Через VPN?

 

Tanger ()

Proxmox/Cgroups: объясните про memsw, meminfo и memory.memsw.failcnt

/etc/pve/lxc/107.conf

...
memory: 1024
swap: 0
...

/var/lib/lxc/107/config

...
lxc.cgroup.memory.limit_in_bytes = 1073741824
lxc.cgroup.memory.memsw.limit_in_bytes = 1073741824
...

Мне непонятны данные в /proc/meminfo

# cat /proc/meminfo  | egrep "^(Mem|Swap|)(Total|Free|Available|Cached):"
MemTotal:        1048576 kB
MemFree:           19556 kB
MemAvailable:     803108 kB
Cached:           783552 kB
SwapCached:            0 kB
SwapTotal:       1048576 kB
SwapFree:        1042168 kB
  1. откуда взялись 6MB в swap, почему вообще в /proc/meminfo swaptotal равен memsw.memory_limit_in_bytes?
  2. периодически увеличивается memory.memsw.failcnt. Почему? Что это значит? Доступной памяти постоянно >500MB.

Из документации непонятно: https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/resource_management_guide/sec-memory

memory.limit_in_bytes
    sets the maximum amount of user memory (including file cache). If no units are specified, the value is interpreted as bytes. However, it is possible to use suffixes to represent larger units — k or K for kilobytes, m or M for megabytes, and g or G for gigabytes. 

memory.memsw.limit_in_bytes
    sets the maximum amount for the sum of memory and swap usage. If no units are specified, the value is interpreted as bytes. However, it is possible to use suffixes to represent larger units — k or K for kilobytes, m or M for megabytes, and g or G for gigabytes. 

memory.memsw.failcnt
    reports the number of times that the memory plus swap space limit has reached the value set in memory.memsw.limit_in_bytes

 , ,

Tanger ()

Metta samurai s1

Почитав темы на ЛОРе решил таки купить себе кресло домой. Взял samurai s1.03.

Читал в отзывах что у них лотерея с газлифтами и часто они слишком высокие. Думал что если что - скручу колеса. А вот фиг - на колесах от пола до нижней части газлифта всего 1.5 см.

Решил купить 60/160 газлифт (в комплекте был 100/200). В магазине узнал что с ним минимальная высота будет только выше (правда расстояние от пола до нижней части газлифта увеличится - может быть можно будет и колеса снять).

В итоге взял затычку вместо газлифта. Оказалось слишком низко и регулятор качения упирается в крестовину - не дает креслу вращаться. А ещё она говеная и люфтит нехило.

Вернулся на родной газлифт.

Теперь думаю что делать.

Мысли:

  • искать правильный зауженный газлифт 60/160
  • взять 60/160 и скрутить колеса
  • тюнить крестовину, чтобы 60/160 глубже влезал
  • залить затычку эпоксидкой и сделать чуть повыше.
  • использовать только шток из затычки и сделать свое основание из дерева
  • использовать подставку под ноги (но на такой высоте и до клавиатуры расстояние неправильное: сейчас сижу слегка сгорбившись)
  • пытаться укоротить родной газлифт. (не уверен, что это возможно. Может быть можно укоротить родной стакан и пихнуть туда начинку от 60/160)

cast @targitaj, @swelf, @h4tr3d

У вас проблем с высотой не было? Какой лифт стоит?

@dimgel, а у тебя что с меттой было?


UPD:

Таки гупил газлифт 60/160, от оригинального лифта взял стакан и отпилил от него 4см.

Что-то получилось. Правда пластиковая втулка теперь сидит в конусе стакана и её пришлось немного подточить. Вначале недоточил - после впресовывания газлифт не проходил во втулку. Потом переточил - появился небольшой люфт втулки в стакане при качении. Но вроде особо не раздражает. Если будет раздражать - есть ещё одна втулка от нового стакана.

Фотоотчет на gdrive.

 , ,

Tanger ()

Синхронизация пользователей/ssh ключей

Есть десяток контейнеров. Хочется иметь в одном месте конфиг со

  • списом пользователей
  • список их публичных ssh-ключей для входа
  • список серверов/групп в которые этот пользователь входит

Разворачивать домен ради этого не хочется. Делать велосипед - тоже. Как это лучше сделать?

 , ,

Tanger ()

ищу потоковый парсер для больших xml для использования в bash

xpath из libxml-xpath-perl не подходит, так как ловлю out of memory.

Задача - найти элементы с определенными параметрами и вывести их.

 , ,

Tanger ()

Почему netstat -ln не показывает прослушиваемый порт?

Хотел посмотреть на каком порту находится web-console activemq и, с удивлением, не обнаружил её в выхлопе netstat -ln и lsof, несмотря на то что порт слушается. Почему?

 # netstat -ln | grep 8161
 # lsof -i :8161
 # iptables-save | grep 8161
 # curl http://localhost:8161/ -v
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
  0     0    0     0    0     0      0      0 --:--:-- --:--:-- --:--:--     0*   Trying 127.0.0.1...
* TCP_NODELAY set
* Connected to localhost (127.0.0.1) port 8161 (#0)
> GET / HTTP/1.1
> Host: localhost:8161
> User-Agent: curl/7.61.1
> Accept: */*
> 
< HTTP/1.1 200 OK
< Date: Wed, 04 Dec 2019 20:36:28 GMT
< X-FRAME-OPTIONS: SAMEORIGIN
< Content-Type: text/html
< Content-Length: 6047
< Server: Jetty(9.2.26.v20180806)
...

 ,

Tanger ()

left join для csv на bash

Периодически бывают задачи, где нужно объединить данные из нескольких не очень больших csv файлов.

Сделать что-то вроде select f1.*,f2.* from 1.csv f1 left join 2.csv f2 on f1.c = f2.c;

Обычно я делаю какую-то одноразовую ерунду типа такой:

tail -n +2 1.csv | (while read -r line; do 
	colC="$(echo "$line" | awk -F',' '{print $3}')";
	matches="$(tail -n +2 2.csv | awk -F',' '{print $2"|"$0}' | grep -E "^$colC\|" | sed 's/^[^|]*|//;s/^/;/' | tr -d '\n');"
	echo "$line$matches"; 
done)

исходные файлы:

1.txt:

A,B,C
foo1,bar1,10
foo2,bar3,20
foo3,bar3,30

__
2.txt:

E,C,D
buz20,20,20
buz10,10,10
buz11,10,11

Выхлоп:

foo1,bar1,10;buz10,10,10;buz11,10,11;
foo2,bar3,20;buz20,20,20;
foo3,bar3,30;

Как подобное делать нормальнее? Больше интересует короткий и понятный вариант чем производительный.

 ,

Tanger ()

Возможно ли определить в какой физический порт воткнуто usb устройство?

Есть usb-хаб (вероятно dlink dub-h7).

В него воткнуто большое количество одинаковых флешек.

Возможно ли определить, в какой физический разъем хаба какая флешка воткнута?

 

Tanger ()

Посоветуйте сервис для звонков на городские и мобильные номера телефонов

Кроме skype кто сейчас предоставляет такие услуги? Хотелось бы платный сервис с открытым android-клиентом.

Перемещено Dimez из linux-org-ru

 ,

Tanger ()

Какие FS хорошо дружат с дедупликацией?

Жалко стало дублировать по 2Gb на изолированный maven-репозиторий на каждый профиль сборки.

Начинаю думать о возможности перенести сборку на FS с дедупликацией.

Что сейчас стабильно? В какие грабли я наступлю? Истории успеха?

Как там btrfs поживает?

 ,

Tanger ()

Где читать про .asoundrc?

Хотел себе прикрутить softvol и alsaequal.

В конце концов удалось:

pcm.!default{
    type plug
    slave.pcm plugequal
}

ctl.equal {
	type equal;
}

pcm.plugequal {
	type equal;
	slave.pcm "plug:softvol";
}

pcm.softvol{
    type softvol
    slave.pcm "plug:dmix"
    control {
        name "Pre-Amp"
        card 0
    }
    min_dB -5.0
    max_dB 20.0
    resolution 6
}

Конфиг менял методом ненаучного тыка, нормального описания конфига не нашел.

В частности не понимаю:

  • чем plug:softvol отличается от softvol. Почему если в softvol написать slave.pcm dmix - всё работает, а если в plugequal slave.pcm softvol (без plug:) - все перестает работать?
  • Что означает !?
  • Что делает ctl.equal {type equal}?
  • Правда ли что slave.pcm abc то же самое что и slave {pcm abc}?

Что почитать?

 , ,

Tanger ()

Разметка в JOB

HR в основном не умеют использовать LORCODE и часто в job получается нечитаемая каша.

pon4ik предлагает для job-раздела делать по дефолту markdown разметку.

Так же можно создать спецтопик для ошибок/опечаток в Job, т.к. обсуждение разметки в теме попадает под 4.1, но больше писать некуда.

 ,

Tanger ()

ЛС to intelfx. Вопрос по osmand-ios и тайлы

cast intelfx.

Нашел старый issue: https://github.com/osmandapp/OsmAnd-ios/issues/81

Умеет ли ios-версия osmand использовать как подложку растровые карты из sqlitedb? Если да, то обязателен ли для этого jailbrake?

По тикету не понял.

 , ,

Tanger ()

Объясните про privacy guard и полномочия

Что такое «Privacy Guard» в LineageOS? Чем оно отличается от стандартного (AOSP) механизма полномочий?

Допустим, есть какое-то приложение, которое отказывается работать до тех пор, пока не выдать ему разрешение для доступа у контактам. Нет ли способа выдать ему песочницу с контактами, а не реальные контакты?

 , ,

Tanger ()

Безопасный jack 3.5. Бывает ли?

В лопате телефоне начал раздалбываться раъем под наушники.
В очередной раз задумываюсь о том как можно попробовать сохранить ему жизнь.
Разъем провода выпирает из телефона на 2см - рычаг достаточно большой.

Вижу такие варианты снизить нагрузку на гнездо:

1. Bluetooth — не хочется; менять наушники не хочу, значит ещё нужно найти годный ресивер. Боюсь что качество звука может упасть.

2. Найти магнитный mini jack — нашёл только 3 безуспешных проекта: один на kickstarter (magzet) и два на indiegogo (jacksafe, mack)

3. Использовать маленький Г-образный штекер. Есть ссылки на хорошие раъемы/провода 1-1.5м? Но сейчас при случайном дерганье за провод - он вылезает, а с Г-образным разъёмом - будет ломать гнездо.

4. использовать mini jack с очень маленькой внешней частью. Есть такие? Не нашёл.

5. Купить плеер с поддержкой карт памяти.

Посоветуете идеи, ресиверы, разъемы, провода, плееры, etc?

 ,

Tanger ()

Не осилил megaraid. Хочу использовать software raid

Есть старенький сервер аппаратным RAID (без батареи):

06:00.0 RAID bus controller: LSI Logic / Symbios Logic MegaRAID SAS 1078 (rev 04)
	Subsystem: Intel Corporation Integrated RAID Controller SROMBSASMP2
	Kernel driver in use: megaraid_sas
	Kernel modules: megaraid_sas

...

Integrated Intel(R) RAID Controller SROMBSASMP2 encl:2 ldrv:1  batt:FAULT, module missing, pack missing, charge failed

...

System Information
	Manufacturer: Intel Corporation
	Product Name: S5520UR

Сейчас в нём стоят страрые диски (не являются compatible):

4 х ST9250410AS,
1 x ST9250610NS

По smart ошибок на них не видно.

Из всех дисков собран RAID6 массив. Диски периодически вылетают в `Unconfigured(bad)`. Или вообще пропадают до перевтыкания.

С megasascli я не смог особо подружиться. Интерфейс кажется отвратительно неудобным. Логи контроллера пока не смог прочитать.

___
Сейчас рассматриваю вариант купить новые диски (например, HTE721010A9E630), воткнуть их в контроллер без RAID (single disk) и собрать на них software raid 5.

Почему так делать не стоит? Или мне это не поможет и non-compatible диски будут вылетать всё равно, даже в single disk?

dmesg:

[    5.209214] megasas: 06.810.09.00-rc1
[    5.223403] megaraid_sas 0000:06:00.0: FW now in Ready state
[    5.237320] megaraid_sas 0000:06:00.0: firmware supports msix	: (0)
[    5.250130] megaraid_sas 0000:06:00.0: current msix/online cpus	: (1/8)
[    5.289961] megaraid_sas 0000:06:00.0: RDPQ mode	: (disabled)
[    5.400208] megaraid_sas 0000:06:00.0: controller type	: MR(512MB)
[    5.400209] megaraid_sas 0000:06:00.0: Online Controller Reset(OCR)	: Enabled
[    5.400210] megaraid_sas 0000:06:00.0: Secure JBOD support	: No
[    5.400218] megaraid_sas 0000:06:00.0: megasas_init_mfi: fw_support_ieee=0
[    5.400230] megaraid_sas 0000:06:00.0: INIT adapter done
[    5.400232] megaraid_sas 0000:06:00.0: Jbod map is not supported megasas_setup_jbod_map 4941
[    5.448108] megaraid_sas 0000:06:00.0: DCMD not supported by firmware - megasas_ld_list_query 4343
[    5.476238] megaraid_sas 0000:06:00.0: pci id		: (0x1000)/(0x0060)/(0x8086)/(0x3505)
[    5.476240] megaraid_sas 0000:06:00.0: unevenspan support	: no
[    5.476241] megaraid_sas 0000:06:00.0: firmware crash dump	: no
[    5.476243] megaraid_sas 0000:06:00.0: jbod sync map		: no
[2016212.300766] megaraid_sas 0000:06:00.0: DCMD not supported by firmware - megasas_ld_list_query 4343
[2016212.328753] megaraid_sas 0000:06:00.0: scanning for scsi4...
[2137514.526383] megaraid_sas 0000:06:00.0: DCMD not supported by firmware - megasas_ld_list_query 4343
[2137514.550408] megaraid_sas 0000:06:00.0: scanning for scsi4...
[2137514.551894] megaraid_sas 0000:06:00.0: 293030 (574341722s/0x0001/CRIT) - VD 00/0 is now DEGRADED
[2137639.083265] megaraid_sas 0000:06:00.0: 293032 (574341848s/0x0004/CRIT) - Enclosure PD 08(c None/p1) phy bad for slot 1
[2150731.354640] megaraid_sas 0000:06:00.0: DCMD not supported by firmware - megasas_ld_list_query 4343
[2150731.378582] megaraid_sas 0000:06:00.0: scanning for scsi4...
[2152640.194603] megaraid_sas 0000:06:00.0: 293155 (574356848s/0x0004/CRIT) - Enclosure PD 08(c None/p1) not responding
[2156221.602414] megaraid_sas 0000:06:00.0: 293241 (574360425s/0x0002/CRIT) - Rebuild failed on PD 13(e0xff/s19) due to target drive error
[2157278.266167] megaraid_sas 0000:06:00.0: DCMD not supported by firmware - megasas_ld_list_query 4343
[2157278.286411] megaraid_sas 0000:06:00.0: scanning for scsi4...
[2157278.288337] megaraid_sas 0000:06:00.0: 293296 (574361480s/0x0001/CRIT) - VD 00/0 is now DEGRADED
[2157884.719754] megaraid_sas 0000:06:00.0: 293325 (574362087s/0x0002/CRIT) - Rebuild failed on PD 14(e0xff/s20) due to target drive error
[2177726.036486] megaraid_sas 0000:06:00.0: DCMD not supported by firmware - megasas_ld_list_query 4343
[2177726.060642] megaraid_sas 0000:06:00.0: scanning for scsi4...
[2269584.872885] megaraid_sas 0000:06:00.0: DCMD not supported by firmware - megasas_ld_list_query 4343
[2269584.896871] megaraid_sas 0000:06:00.0: scanning for scsi4...
[2269584.901900] megaraid_sas 0000:06:00.0: 295034 (574473723s/0x0001/CRIT) - VD 00/0 is now DEGRADED

 , ,

Tanger ()

RSS подписка на новые темы