Привет, ЛОР.
Оптимизирую функцию. Удалось снизить время выполнения 100 000 000 итераций с 58 секунд до 32. Дальше пока не лезет. Глянете? Может кто еще какой-нибудь финт сможет предложить: http://paste.org.ru/?iv1p2w
Панель Awesome можно кастомизировать довольно сильно, вы практически ничем (кроме некоторых багов) не ограничены, любые изображения, виджеты, многое можно интегрировать.
Сейчас серия состоит из 2 тем в двух вариантах, два варианта тёмной (v1 и v2) и два варианта светлой темы v3.
На скриншоте тема v1, также посмотрите другие:
Под «Pro» имеется в виду подражание интерфейсам профессиональных (индустриальных) приложений.
На скриншоте панель, слева направо:
Тому, кому возможно тема понравится и рискнет себе запилить, нужно иметь в виду некоторые моменты.
Конфиги здесь.
Мои PMS тронулись мозгой. Project ManagerS в смысле...
Они хотят что бы я каждый месяц делала security audit cерверов и запихивала его толи в эксель, толи в ворд (они ещё не придумали).
То, что они хотят, у меня уже заскриптованно и месяца как 2 шлет отчеты на мыло.
Естесно, что отчет им не понравился, ведь его надо презентовать клиенту, а оно все такое некрасивое, одним цветом, а вместо абзацев "----------------------" и даже #comments есть. Сами переписывать не хотят (там дофига).
Ах да, ещё они хотят что-бы это делалось руками.
Квест состоит в том, что бы выхлоп скрипта, как то запихивать в ворд или эксель, с красивым форматированием, блэкджеком и шлюхами.
В эксель наверное легче, ведь он разделяется запятыми, но реально ли делать тоже самое с вордом?
Как сделать, так, что бы ячейки ОК, Warning и Critical автоматом выделялись зелененьким, желтеньким и красненьким, а ячейки с названием, автоматически имели жирный текст.
Можно менять оттенки, что бы не было так заметно, что это заскриптованно.
Ни одной мелкософтовой софтины у меня естественно нет и *office я не пользуюсь, даже если он Libre. Гугль ничего внятного что-то не отвечает.
Мальчика на побегушках не предлагать. Старшего тоже. Девочек с трансами тоже не надо. Я не дам потрогать Mein Preciouss (ну сервера в смысле)!
И вообще, младшего админа сначало надо найти, потом воспитать. Это как со щенком, пока вырастет достойный дрессированный бобик, за ним надо убирать продукты жизнедеятельности.
В очередной раз мне в голову приходит идея. Хочется написать сабж. Может, я неправильно это обзываю, но сейчас объясню. Тулза, которая, слушая какой-то порт, выступает в роли прокси: все запросы от клиентских программ она пропускает через себя и рандомные публичные анонимные прокси, которые она сама для себя добывает (они же не вечные).
Например:
запрос из браузера -> тулза -> рандомный анонимный прокси -> ответ обратно браузеру
Соответственно, если браузер для одной страницы создает N подключений (подгрузка скриптов и контента), то тулза в этот момент заюзает N рандомных анонимных прокси.
Собственно, код сбора и использования анонимных прокси уже есть на яве у меня (для другого проекта был писан). Осталось определиться с тем, как должен работать сам прокси (принять запрос от браузера и отдать ответ). Не проблема будет переписать имеющийся код на православном перле.
Интересует мнение сведующих в этом деле. Взлетит или нет? Как должен работать прокси?
Настраиваю различные линуксы для различных целей (физический сервер, vps, ноутбуки). При настройке для каждой машины у себя создаю файлик с журналом изменений в этой системе. В этот файлик скурпулезно фиксирую все настройки (например, на ноуте нужно поставить определенные драйвера). Настройки на разных системах сильно отличаются. Поэтому я не могу хранить их в едином репозитории git.
С одной стороны, все системы бэкапятся на центральную, и конфиги сохраняются. С другой стороны, если при настройке была сделала небольшая ошибка, то её не всегда можно легко найти, даже по журналу. И ведь машин может быть огромное количество (допустим, на разных предприятиях или даже в частном пользовании), поэтому запомнить довольно сложно.
Вопросы:
1. Как лично Вы ведете журнал установки и настройки различных систем?
2. Вы все помните наизусть, или опираетесь на проверенные лично Вами мануалы? Или настраиваете, а потом забываете?
3. Что вы делаете, если нужно отступить от привычного порядка? Как вы это фиксируете?
4. Самое главное: есть ли какие-то способы автоматически фиксировать изменения в системе, чтобы потом легко поднять их в читаемой форме (как журнал)?
5. Может, создать в / репозиторий git?
10 лет назад прочитал эту историю, потом много раз пытался ее найти, но не получалось. Я ее тогда почти и не запомнил. И вот сегодня, случайно, наткнулся.
A Customer calls a UNIX consultant with a question Customer: What is the command that will tell me the revision code of a program? UNIX consul: Yes, that's correct. Customer: No, what is it? UNIX consul: Yes. Customer: So, which is the one? UNIX consul: No. 'which' is used to find the program. Customer: Stop this. Who are you? UNIX consul: Use 'who am i' not 'who r yoo'. You can also 'finger yoo' to get information about yoo'. Customer: All I want to know is what finds the revision code? UNIX consul: Use 'what'. Customer: That's what I am trying to find out. Isn't that true? UNIX consul: No. 'true' gives you 0. Customer: Which one? UNIX consul: 'true' gives you 0. 'which programname' Customer: Let's get back to my problem. What program? How do I find it? UNIX consul: Type 'find / -name it -print' to find 'it'. Type 'what program' to get the revision code. Customer: I want to find the revision code. UNIX consul: You can't 'find revisioncode', you must use 'what program'. Customer: Which command will do what I need? UNIX consul: No. 'which command' will find 'command'. Customer: I think I understand. Let me write that. UNIX consul: You can 'write that' only if 'that' is a user on your system. Customer: Write what? UNIX consul: No. 'write that'. 'what program'. Customer: Cut that out! UNIX consul: Yes. those are valid files for 'cut'. Don't forget the options. Customer: Do you always do this? UNIX consul: 'du' will give you disk usage. Customer: HELP! UNIX consul: 'help' is only used for Source Code Control System (SCCS). Customer: You make me angry. UNIX consul: No, I don't 'make me' angry but I did 'make programname' when I was upset once. Customer: I don't want to make trouble, so no more. UNIX consul: No 'more'? 'which' will help you find 'more'. Every system has 'more'. Customer: Nice help! I'm confused more now! UNIX consul: Understand that since 'help' is such a small program, it is better not to 'nice help'. and 'more now' is not allowed but 'at now' is. Unless of course 'now' is a file name. Customer: This is almost as confusing as my PC. UNIX consul: I didn't know you needed help with 'pc'. Let me get you to the Pascal compiler team.
WM: i3
Панельки: i3bar с патчем для xbm иконок, информацию выводит conky
Эмулятор терминала: urxvt
Композитный менеджер: compton
Клиент для xmpp: mcabber
Почтовый клиент: mutt с патчем для sidebar
Браузер: firefox+vimperator+toolbar autohide
ФМ: vifm
Плеер: mpd+ncmpcpp
Всплывающие уведомления: dunst
И еще пара скриншотов с другим цветовым оформлением:
Цвета i3 и эмулятора терминала переключаются скриптом на shell.
Можно весь день продуктивно работать, и ни разу не взять в руки мышку. Очень удобно.
Конфиги всего, что видно на скриншоте, мои кривые скрипты для переключения цветов и не только для этого, тему оформления GTK и иконки можно скачать здесь (11 Mb).
Доброй ночи! Есть сайт nginx+Plack+Mojolicious+MySQL, есть аналогичный на nginx+uWSGI+Django+MySQL. Решил погонять тесты siege (с=100, r=100). Первый показывает 50rps, второй - 7. Железо одно и то же. Запросы к базе оптимизировал, там в районе 5-10 мс.
Понимаю, что должно быть примерно одно и то же по производительности. Может как-то хитро надо конфигурировать Django|uWSGI?
uwsgi.ini:
[uwsgi]
socket = 127.0.0.1:8001
chdir = /path/to/xyz
module = xyz.wsgi:application
master = True
pidfile = /var/run/uwsgi_xyz.pid
processes = 4
threads = 2
uid = xyz
gid = xyz
harakiri = 60
max-requests = 5000
vacuum = True
home = /home/xyz/.virtualenvs/xyz
touch-reload = /home/xyz/reload
buffer-size = 32768
env = DJANGO_SETTINGS_MODULE=xyz.settings.prod
plugins=python
Поделюсь своим опытом борьбы с DDoS флудом. Защищать будем операционную систему openSUSE Linux с помощью правил iptables.
Для защиты настроим систему и создадим скрипт, который будет отслеживать флуд соединениями на открытые порты.
Сначала о настройке системы. Моё содержимое файла /etc/sysctl.conf:
( читать дальше... )
Теперь о правилах iptables.
Создайте файл /etc/init.d/iptables_myrules и сделайте его исполняемым: chmod +x /etc/init.d/iptables_myrules. Его содержимое:
( Содержимое файла iptables_myrules )
Здесь заданы непосредственно правила iptables.
Рассмотрим настройки:
PROTECTZONE - в этой константе перечисляются через пробел интерфейсы, которые будут защищаться правилами (внешняя зона). Обычно это один интерфейс, через который осуществляется выход в интернет. В данном примере это интерфейс dsl0. Вы должны задать свой интерфейс.
FREEZONE - здесь перечисляются через пробел интерфейсы внутренней зоны, на которой разрешена любая активность (локальные интерфейсы). Интерфейс lo должен обязательно быть здесь.
Если у Вас лишь один cетевой интерфейс (например, eth0), через который осуществляется выход в интернет, то он должен быть указан во внешней зоне, а интефейс lo во внутренней.
TCP_PORTS - перечень TCP портов через запятую без пробелов, которые нужно открыть (на которых у нас работают те или иные сервисы, принимающие входящие соединения из внешней зоны).
UDP_PORTS - перечень UDP портов через запятую без пробелов, которые нужно открыть.
TCP_PORTS_PRIV и UDP_PORTS_PRIV - аналогичны константам TCP_PORTS и UDP_PORTS соответственно, только к перечисленным здесь портам будут разрешены подключения лишь с определённых диапазонов IP-адресов, перечисленных в константе PRIV_RANGES (приватные диапазоны).
PRIV_RANGES - перечень приватных диапазонов IP-адресов (начальный-конечный, без пробелов через дефиз), по одному диапазону на каждой строчке. Перечисленные здесь адреса допускаются для соединения с портами, перечисленными в константах TCP_PORTS_PRIV и UDP_PORTS_PRIV. Чтобы задать лишь один IP-адрес, просто укажите одинковые начальный и конечный адреса диапазона.
IS_CONNLIMIT - задаётся разрешённое число оновременных соединений с одного IP-адреса (модуль connlimit). Если задать значение '0', то правило будет отключено.
CONNLIMIT_MASK - маска для проверки одновременных соединений модуля connlimit.
IS_RECENT - активация модуля recent, который ограничивает число соединений с одного адреса за определённый период времени. 1 - включено, 0 - выключено.
RECENT_SECONDS - период в секундах, за который не должно быть превышения лимита количества соединений за заданный интервал времени с одного IP-адреса.
RECENT_HITCOUNT - количество соединений за заданный период времени для модуля recent.
HASHLIMIT_UPTO - количество соединений в единицу времени для модуля hashlimit. Временной интервал может быть: /sec, /min, /hour, /day. При превышении данного лимита пакет будет заблокирован.
HASHLIMIT_BURST - пик количества разовой доставки соединений для модуля hashlimit.
HASHLIMIT_MODE - режим хеширования для модуля hashlimit. Варианты могут быть: dstip, srcip, dstport, srcport (несколько разделяютя запятыми без пробелов).
HASHLIMIT_EXPIRE - время жизни записи в хэш-таблице для модуля hashlimit.
IS_GRE - разрешение протокола GRE (1 - включено, 0 - выключено).
IS_BROADCAST - разрешение broadcast трафика (1 - включено, 0 - выключено).
IS_ICMP_ECHO - icmp echo пакеты (1 - включено, 0 - выключено).
BLACKLIST_IP - здесь можно указать перечень IP-адресов, которые будут блокироваться (по одному на каждой строчке).
BLACKLIST_RANGES - здесь можно указать перечень диапазонов IP-адресов, которые будут блокироваться (по одному на каждой строчке, через дефиз без пробелов).
BLACKLIST_COUNTRIES - перечень кодов стран, которые будут блокироваться, через запятую без пробелов (модуль geoip).
Если система используется как шлюз или маршрутизатор, то нужно разрешить ip_forward и send_redirects.
При запуске скрипта без параметров все правила перезадаются. При запуске с параметром clean правила обнуляются. Параметр list выводит текущий список правил и статистику срабатываний.
Для добавления скрипта в автозапуск, выполните команду: chkconfig -a iptables_myrules. Для удаления скрипта из автозапуска выполните команду: chkconfig iptables_myrules off.
Теперь опишу дополнительный скрипт ddos_block.lua, который следит за входящими соединениями на заданные порты (или группы портов) и блокирует IP-адреса, с которых превышен лимит одновременного числа установленных соединений. Этот лимит задаётся отдельно для каждого порта или группы портов. Вот код скрипта:
( Содержимое файла ddos_block.lua )
Для удобства запуска сделайте его исполняемым. Скрипт написан на языке LUA. Рассмотрим настройки:
ports_protect - перечень защищаемых портов и разрешённое количество соединений с одного IP для каждого из них (или их группы). Количество соединений к группе портов отслеживается в совокупности, как к одному. Формат таблицы таков, что на каждой строке должна быть запись вида:
[{P1,P2,...,Pn}]=N,
где P1,P2,...,Pn - перечень группы портов через запятую, соединения к которым отслеживаются в совокупности. Здесь может быть просто один порт. N - количество разрешённых одновременно установленных соединений к данному порту или группе.
ranges_allow - перечень диапазонов IP-адресов и соответствующий им список портов. Перечисленные здесь адреса не будут ограничены по количеству соединений на указанные порты. Формат таблицы таков, что на каждой строке должна быть запись вида:
[{'IPstart','IPend'}]='P1,P2,...,Pn',
где IPstart - начальный адрес диапазона, IPend - конечный адрес диапазона, P1,P2,...,Pn - перечень разрешённых для данного диапазона портов, соединения к которым не будет ограничиватья. Если в качестве переченя портов указано 'all', то будут разрешены все порты. Чтобы задать только один IP-адрес, просто укажите его как начальный и конечный адрес диапазона.
time_ban - время блокировки IP-адреса, который превысил разрешённый лимит соединений (в секундах).
drop_allow - разрешённое количество попыток соединения во время блокировки. Если после истечения времени блокировки количество попыток соединения не будет превышать разрешённое число, IP-адрес будет разблокирован. В противном случае, блокировка будет продлена ещё на один срок.
scan_period - период между сканированиями в секундах.
log_folder - полный путь к папке для записи логов блокировок и разблокировок (должен оканчиваться слэшем). Если путь не задан (пустая строка), то ведение логов будет отключено.
Константы ниже менять не рекомендуется.
filter_command - шаблон команды для получения списка текущих соединений с защищаемыми портами (шаблон %PORTS заменится на защищаемые порты).
ban_command - шаблон команды блокировки IP-адреса.
unban_command - шаблон команды удаления блокировки IP-адреса.
stat_command - команда для получения статистики о заблокированных IP-адресах.
Данный скрипт должен быть постоянно запущен в терминале.
Вышеописанные методы отлично помогали против DDoS-атак даже на слабом ADSL-соединении, линк не терялся, серверы продолжали работу. Количество ботов было порядка 2000. У себя на ресурсах я использую свою же сборку SteelLinux на базе openSUSE. Во всяком случае, описанные ниже методы работоспособны на этой системе (на Ubuntu, например, это уже не помогало и сервер на её базе падал в оффлайн).
Скачать скрипты можно тут:
iptables_myrules
ddos_block.lua
http://sagemath.blogspot.com/2014/08/you-dont-really-think-that-sage-has.html
Для Ъ:
один из разработчиков Sage говорит о том, что проект Sage как opensource-альтернатива таким пакетам как Magma, Maple, Mathematica and Matlab провалился. И что единственное, с чем проект спавился, это с попилом научных грантов на программирование всяких математических алгоритмов, которые уже как много лет реализованы в коммерческих приложениях.
Лор, а чем ты сервера мониторишь?
Хочу что-то легковесное и простое, а то к таким монстрам как zabbix или nagios подступаться страшно и нинужно как-то, надо всего-то за парочкой машин следить.
Как оптимизировать трафик при пробросе графических приложений по ссш?
Пинги мелкие и отклик вполне устраивает, даже видео в браузерах иксы умудряются пускать сразу на клиент в обход сервера, а вот просто картинка с приложений при изменении жутко тормозит (канал 50-100мб/с), хотя это может быть ещё из-за кривых приложений, так как тот же гимп или инкскейп при работе с картинкой никаких проблем не встречает (сразу, по ходу отправляет на клиент весь холст), а хром при прокрутке страницы перерисовывает каждый кадр заново. Собственно, сабж - как оптимизировать трафик по ссш и иксам (или хотя-бы хромиум/iceweasel (с плавной прокруткой вообще ад - оно перерисовывает _все_ промежуточные кадры))? Проброс рабочих столов не предлагать, ибо разные мониторы (fullhd на 1366*768 кидать не Ъ), только отдельное приложение, общий (в том числе иксовый) буфер обмена и таскай&кидай крайне важны.
PS: запускается и так по ssh -XC
критерии:
1) провайдер не понимает по-русски. вообще. никак.
2) свои каналы связи
3) п.2 подразумевает то, что компания имеет свой ДЦ и не реселлит никого
4) VPS или Dedicated - не суть
5) не более $50/Mon.
6) желательна DDoS-защита и SSD (но не обязательно)
7) расположение где-нибудь в бездуховной и загнивающей, но не в германии; минимальный пинг до любой точки RU (франция, нидерланды - самое то)
на прицеле: transip.eu, ovh.net, swiftway.net - если кто-то имел дела с этими конторками - прошу набросить отзывов.
на сервере будут крутиться - high-load PostgreSQL, nginx+ngx_lua, астер.
заранее спасибо.
посоветуйте, чтоб на трубе тяжёлое было
музыка само собой
найти не могу, но слышал
http://data.mos.ru/News/Browse/23
На портале открытых данных опубликован список московских коворкингов и антикафе.
http://data.mos.ru/datasets/1464
Портал http://data.mos.ru является официальным порталом открытых данных правительства города Москвы. Все материалы портала data.mos.ru являются открытыми данными, в соответствии с требованием постановлением Правительства РФ N 583 от 10 июля 2013 г., и могут быть воспроизведены в любых средствах массовой информации в информационно – телекоммуникационной сети Интернет или на любых иных носителях без каких-либо ограничений по объему и срокам публикации. Это разрешение в равной степени распространяется на газеты, журналы, радиостанции, телеканалы, сайты и страницы сети Интернет.
Перепечатка или ретрансляция данных возможна при условии ссылки на Портал открытых данных. Сведения о коммерческих структурах города Москвы, представленные на портале data.mos.ru получены из открытого доступа, в т.ч. посредством сети интернет. Данные, о коммерческих структурах, размещенные на портале data.mos.ru, не являются рекламой, а имеют исключительно информативный характер. Данные о коммерческих структурах, размещенные на портале data.mos.ru, могут корректироваться администратором портала, на основании жалоб и обращений граждан, а также на основании информации, полученной своими силами и за свой счет.
Любой Пользователь портала, в случае обнаружения в предоставляемых данных, неточностей или ошибок, включая информацию о доступности объектов инфраструктуры для людей с ограниченными возможностями вправе обратиться с жалобой в соответствии с установленным регламентом. Жалоба подается путем заполнения соответствующей формы на портале data.mos.ru
Перемещено Pinkbyte из general
так как upower лёг под поцтеринга, пришлось переползти на upower-pm-utils.
теперь не работает suspend (hibernate пока не проверял, ибо не сконфижено ядро для этого дела, возможно и с ним могут происходить те же траблы). он вроде как начинает уводить компьютер в сон, но экран красится чёрным (подсветка экрана загорается снова через несколько секунд, и так и остаётся), клавиатура/мышь не реагируют, кнопка питания не реагирует. только ребут. то есть комп повисает ещё до сна.
логи ничего не дали, ибо принудительный рестарт. куда копать? что конфигурять?
Вот прямо щас пишу демона для Asterisk на питоне, смотрю в этот гайд http://www.jejik.com/articles/2007/02/a_simple_unix_linux_daemon_in_python/
Суть работы: Когда демону приходит задание (json-объект) он либо откладывает его, либо начинает выполнять сразу (создание некоторого количества файлов в /tmp, перемещение их в определенную папку и её мониторинг на предмет их изменения/исчезновения). На протяжении всей работы он должен знать какие задания у него сейчас есть, какие он выполнил и что делает сейчас. После экстренного выключения / остановки он должен не терять эти самые задания. В любой момент работы он может получить запрос состояния, на который он должен вернуть json-документ со списком заданий и ходом выполнения.
Демона пишу первый раз, пока не уверен что выбрал правильный путь. Чтобы хранить задания, нужно внешнее хранилище. Я хочу использовать mongodb.
Как правильно организовать хранение списка выполняющихся задач?
Можно вообще всё общение сделать через mongo - новое задание сразу класть в mongo (вообще не использовать внутренние переменные) и начинать его выполнение. После выполнения каждого шага, делать запись в mongo. На любой запрос - брать данные из mongo. Таким образом, при аварийном завершении, я легко восстановлю состояние работы и списки задач.
Если же на каждое задание создавать экземпляр класса, хранить список этих экземпляров, то при завершении работы все данные будут утеряны.
Я правильно понимаю?
и второй вопрос: как общаться с python демоном посредством json? Просто получать его как строку через argv и дальше преобразовывать в объект?
p.s. демон будет вызываться только вебсервером, поэтому интересует системное, а не сетевое взаимодействие
требуется - для определенного процесса (ессно с его всеми потоками) полностью сымитировать действия «сетевой шнур вынули»/«сетевой шнур воткнули» одной (понятно что двумя - на «вкл/выкл» соотв.) командами в консоли
АПД. варианты с виртуалками/песочницами/прочим не катят, ибо процесс запускается как вполне себе гуевое приложение из ярлыка, работает со своими данными (каталогами) и т.д.
| ← назад | следующие → |
