LINUX.ORG.RU

Сообщения Kolins

 

ПО для составление модели БД

Есть готовый загрытый продукт, который в своем составе использует SQL БД, таблиц много (около сотни), полей в них тоже много, иногда чтобы сделать запрос для сбора данных из 2 таблиц, нужно транзитом пройти еще несколько и очень хотелось бы иметь графическое представление этой БД в виде схемы (какие таблицы через какие поля связаны), для небольшой БД можно и самому нарисовать,но тут прям МНОГО и хотелось бы софтину, в которую можно загрузить схему и получить список таблиц (с полями, типами, комментариями), связи сам потом дорисовать могу. Ну и экспорт этого дела в какой-нибудь png.

UPD: Отрисовал в Draw.io, из минусов - нужен мощный калькулятор, иначе подтупливает на большом числе элементов на схеме.

 ,

Kolins
()

Подключить perl модуль к python

Есть perl модуль (это, если кому интересно заменить его нечем) который может принимать значения и отдавать результат, нужно описать для него «обвязку» которая будет передавать значения из файлов и результат складывать в другие файлы.

Сейчас работает самописная обвязка на perl, но я тут подумал, а вдруг можно было подключить модуль pm к python...самое первое что приходит в голову, это написать небольшой pl который будет вызываться и принимать/отдавать результаты работы модуля и уже дергать в python, но звучит как костыль.

 , , ,

Kolins
()

Certbot обновление сертификата

Есть сервер, на котором несколько доменов с сертификатами LE, попросили обновить, делаю как обычно:

certbot certonly -d <domain>

С большинством доменов все ок, но один обновляться не желает, certbot пишет что все прошло успешно, файл сертификата перезаписывается, но в сертификате
Validity
Not Before: Mar 27 11:51:56 2023 GMT
Not After : Jun 25 11:51:57 2023 GMT

Следовательно завтра он протухнет.

Что делаю не так?

 ,

Kolins
()

Что выбрать для большой БД (порядка 1000000 записей в 4 таблицах)

Есть удаленный сервер на котором хранится некая БД (порядка 800000 записей, но постоянно обновляется), выгрузка осуществляется через API, которое возвращает XML. Выгрузка может быть как полной, так и инкрементной. задача выгрузить данные, провести пару проверок и выдать результат в виде текстового файла. Собственно эту часть сделал и оно работает, но захотелось сделать «покрасивше» и добавить локальную БД в которой можно производить поиск по полям и простенькую аналитику (сколько записей добавилось/удалилось после инкрементного обновления, статистику по значению полей и пр.)

Все пишу на python3 т.к. не программист, а больше некому.

Попробовал mongodb, превести xml к json не составило проблем, но запросы mongo не понравились и мне проще с реляционными таблицами работать (структура xml позволяет разбить на несколько таблиц). Дописал скрипт для разбора и импорта в mongo, запустил полную выгрузку и за несколько минут все попало в БД.

Попробовал mysql, сделал таблицы, сделал скрипт импорта, на небольшом куске данных все ок, запустил полную выгрузку...прождал 2 часа и понял что че-то долго, попробовал другим путем (сначала сформировать sql файл (итоговое число записей из api увеличиваются в 2-3 раза т.к. есть условно «метадата» в одной таблице и записи привязанные к этой метадате в других таблицах) потом грузануть его в БД), аналогично долго...

И вот сижу думаю, это моих навыков программирования не хватает чтобы выгрузка происходила быстро (хотя-бы за 20 минут, мне-же потом из этой БД формировать текстовый файл по изначальной задаче что тоже время займет) или Mysql тормозит и стоит попробовать postgre например или продолжать копать mongo?

 ,

Kolins
()

Zyxel XGS OSPF

Была у кого-нибудь практика настройки OSPF на Zyxel XGS серии? Настроек там по минимуму, в мануале все расписано, но на практике виснет на ExStart, вижу что соседи ему DD шлют но XGS не принимает и снова в Hello уходит и так по кругу. Обновление firmware до посладней версии не помогло. В качестве соседей Mikrotik и DBCom, на которых многократно настраивал OSPF без приключений.

Погуглил - информации ноль, только сайты со сканами мануалов которые у меня и так есть.

 ,

Kolins
()

Static Site Generator с WYSIWYG

Есть такое в природе? Как я себе представляю: есть контейнер в котором крутится WYSIWYG редактор, к нему подключается дикектория pelican/hugo/... по локальному адресу я захожу в редактор, пишу (или правлю) там свои мемуары и по нажатию на кнопку «Сделай хорошо!» он складывать файлы (md, изображения и пр) в подключенный каталог, запускаю генерацию сайта в ssg, готовые файлы по scp/ftp отправляются на web сервер.

 ,

Kolins
()

Dovecot плевать на имена eml файлов?

https://doc.dovecot.org/admin_manual/mailbox_formats/maildir/ - есть вот такая не сложная схема именования eml файлов для maildir, я заморочился написал скрипт для импорта который переименонывает по формату. Но потом решил, «а что если?», закинул несколько файлов с именами XXXXXXX.eml в cur, сделал doveadm fts rescan и о чудо, все письма подгружаются почтовиком как и те что проименованны правильно, в итоге dovecot плевать на имя файлов или там есть сокральный смысл и лучше заморочиться и переименовать?

 , eml

Kolins
()

Hotspot detection или как усложнить простое

Как современные девайсы определяют что они внутри hotspot - запрашивают определенную страничку со своих серверов и если не получают ожидаемые ответ то считают что они в ограниченной сети и нужно пройти авторизацию.

И казалось-бы, все просто настраиваешь DNAT для 80 порта для неавторизованных пользователей и девайсы при запросе своей странички увидят что их перекинуло не туда и откроют страничку авторизации в браузере.

Но нет! Они ожидают что им прийдет HTTP ответ с кодом 511 (в ранних драфтах был 302) в котором будет адрес странички на которую нужно сделать переход. Тоесть нужно в форме авторизации делать костыль, который при первом запросе отправляет 511 с адресом странички авторизации.

Ну и читаем rfc внимательно:

The 511 status SHOULD NOT be generated by origin servers; it is intended for use by intercepting proxies that are interposed as a means of controlling access to the network.

Что они имеют в виду под «origin server»? Сервер который производит авторизацию? Тоесть если роутер не может сам отдать подобный ответ мне требуется дополнительно извращаться и поднимать второй web сервер, который будет отвечать только за 511 ответ или я чего-то не понял?

И вот зачем все эти сложности с 511 кодом, когда можно просто пройтись по DNAT (хотябы в качестве опции, если 511 не поступил) и открыть страничку в браузере?

 ,

Kolins
()

Какие актуальные китайфоны проще всего рутовать?

Ситуация такая, нужно найти и купить китайфон (буджет максимум 20тыс, покупать буду в citilink скорее всего, он ближе всего к дому), рутануть, накатить LeneageOS+minigaps, отдать человеку и забыть про это пока телефон не будет разбит в хлам и придется брать новый. Схема отработанная годами, уже 4 телефон так меняют.

Что из актуальных брендов/моделей проще всего рутануть (без разбоки, предварительной активации через аккаунт производителя и пр?)

Никакой игровитости и производительности не нужно, 4-8Gb RAM, 32-64gb памяти и процессор из свежих средней производительности, НЕ AMOLED.

Интересует производитель, дальше гляну модели и что про них на 4pda пишут.

UPD: Заказал новый экран для имеющегося

 , ,

Kolins
()

Postfix/Dovecot TLS и несколько доменов

Есть почтовый сервер, пока был один домен - все ок. Когда добавился второй, появился вопрос как указать отдельные tls сертификаты для каждого из доменов? В конфигах можно задать только один.

Оно в принципе работает, но для второго домена thunderbird ругается на неверное доменное имя в сертификате

wildcard не подойдут т.к. доменные имена разные

По dovecot нашел такую инфу: https://wiki.dovecot.org/SSL/SNIClientSupport но там пишут что outlook не умеет в SNI

Неужели для каждого домена нужно отдельный сервер поднимать?

 ,

Kolins
()

ndpi разбор pcap файлов

Никто не встречал готового решения, когда скармливаешь софтине pcap файл, она его разбирает на потоки и смотрит что за протокол по сигнатурам и возвращал список потоков (в формате srp-dst ip + proto)?

Что-то похожее intelfx искал уже в 2017 (сейчас тему не могу отыскать), но там все закончилось самописными скриптами.

 ,

Kolins
()

Немейнстримные DEB-based дистрибутивы: зачем и почему

Существует семейство DEB-based дистрибутивов, которые позиционируют себя как решения для десктопа. Как минимум, вспомнились:

  • MX Linux
  • LMDE
  • Deepin linux
  • AntiX
  • Devuan
  • Kali

Может еще какие есть.

Хотелось бы услышать мнение тех, кто пользовался этими продуктами. Что они собой представляют, зачем нужны, плюсы/минусы, реальный опыт использования.

Сам я из всего этого десктопного зоопарка пользовался только LMDE (неплохая была ОС для своего времени; да и трава раньше была зеленее) и MX Linux.

Кстати про современное состояние ubuntu тот же вопрос. Это вроде серьёзный проект с историей, но сам я давно с ним дела не имел, и хотелось бы услышать, что там и как в наше время.

 , , , ,

Kolins
()

isc-dhcp-server заблокировать прием broadcast

dhcpd должен принимать запросы только с relay серверов, но т.к. висит на интерфейсе то на него приходят запросы из локальной сети (на которые он не должен отвечать). iptables (включая raw)/ebtables бесполезны т.к. dhcpd слушает raw socket раньше netfilter. Пробовал блокануть в ebtables на гипервизере (proxmox) - аналогично запросы проходят (что уже странно, но может в virtio дело).

Конечно можно попробовать запихнуть в отдельный bridge, на отдельный vlan и зарезать по acl уровнем выше, но это совсем кошмар для такой простой операции.

Может есть хитрая опция в dhcpd.conf которая позволит заблокировать запросы с 0.0.0.0? Пока пробую создать class который фильтрует по наличию opt82 и раздает адрес только подходящим клиентам, но не совсем понятно как это будет работать вкупе с классами которые по opt82 раздают статические ip (но это в процессе проверки), но мне такое решение кажется излишне костыльним и должно быть что-то более элегантное.

 ,

Kolins
()

nfdump -o json неправильный формат

Может кто сталкивался, когда генерирую json nfdump не добавляет открывающую скобку списка, причем закрывающая есть, поэтому парсить нормально не получается, конечно могу в скрипте добавить недостающую '[', но выглядит как говнокод

nfdump -q -o json -r /var/cache/nfdump/nfcapd.202304250940 |head -n2
{
        "type" : "FLOW",
nfdump -q -o json -r /var/cache/nfdump/nfcapd.202304250940 |tail -n2
}
]

 

Kolins
()

Архив со смапом и вирусами дле тестирования почтового сервера

Никто не встречал такого на просторах интернета? Нужно продемонстрировать «красивые графики» и отчеты, что все работает как надо

 ,

Kolins
()

iptables vs nftables

А расскажиет в чем плюсы nft по сравнению с обычным iptables? Все никак не дойдут руки на него перейти, когда начинаю изучать то прихожу к выводу что там все тоже самое, но с другим синтаксисом. Ну да, ipset встроенный, комбинация ipv4 и ipv6, что-то еще?

 , ,

Kolins
()

Python декодировать CP1251 -> UTF-8

Есть такая строка: «&BBoEHw-», через универсальный декодер выяснил что это CP-1251, как объяснить это python и сконвертнуть его средствами в utf-8?

 , ,

Kolins
()

Zimbra OSE норм?

Есть на форуме администраторы почтовых серверов, что скажете насчет Zimbra OSE, имеет смысл использовать для офисной почты (~400 ящиков) с учетом того что оно не обновляется уже несколько лет?

 ,

Kolins
()

Ноутбук+ kvm (подскажите как правильно называется такой девайс)

Хочется девайс в формате ноутбука который можно подключить по vga и usb к условному серверу и использовать ноутбук как клавиатуру+монитор. В принципе этого уже достаточно, но если на борту аппарата будет полноценная ноутбучная начинка с возможностью установить условный debian и возможность переключаться между режимом ноутбука и режимом kvm, то вообще прекрасно было бы.

По каким запросам искать такой девайс?

 

Kolins
()

Self hosted Captive Portal

А что сейчас есть для организации Captive Portal с авторизацией по sms (sms.ru api)«из коробки»? интересуют варианты под linux, либо готовые аппаратные решения, никаких cloud сервисов.

Да, я знаю что это реализуется на коленки за вечер, но у меня нет навыков (да и жедания) web-программирования, хочется: поставить, показать как пользоваться, забыть.

 ,

Kolins
()

RSS подписка на новые темы