Ищу распределённую систему сбора логов.

Что от неё надо:

1. Возможность интеграции с различным самописанным софтом на разных языках (php/python/shell).

2. Кастомный (или достаточно гибкий) формат содержимого. Т.е. кроме стандартных hostname, date, level, message, я хочу, например, имя процесса, pid, группа, тэг, еще какой-нить признак.

3. Сбор логов с кучи машин (десятки) на одну-две центральные.

4. Возможность в реальном времени смотреть на логи

5. Возможность фильтровать логи по различным тэгам (домены, тэги и прочие специальные признаки, описанные выше).

6. Фильтр по регекспам по телу сообщения

Сейчас используются кастомные лог-файлы, базы данных, сброс данных по мылу (когда в сообщениях трейсы и дампы исходных данных) и прочая каша. Хочется это всё как-то систематизировать.

В свое время на том же ЛОРе, вроде бы, проскакивала новость о подобной системе, вроде бы даже на erlang'е, но что-то никак не могу найти.

Единственно, что смог найти - log.io, но он мне не подходит - там простые сообщения собираются в одну кучу, без тэгов. А мне нужны гибкие фильтры.

Поднимаю репликацию в mysql.

Заметил странную ситуацию, когда репликация начинает отставать (иногда на часы) от мастера. Сейчас вот прямо сижу и мониторю.

Нагрузка на slave нулевая, mysqld в top почти не видно. Пишет на диск 200-300кб/с. По сети гонит примерно столько же.

Но репликация конкретно отстает.

Мониторю репликацию с помощью своего скрипта, раз в секунду пишущего в специальную таблицу timestamp.

Вначале грешил на большой лаг между мастером и слейвом (они географически сильно разнесены), но сейчас посмотрел tcpdump'ом что приходит на слейв и оказалось, что на слейв все приходит практически синхронно, а вот применяется с большим отставанием.

Откуда берется отставание - не очень понятно. Никаких тяжелых запросов там нету (нагрузка - практически ноль, повторюсь).

Куда можно покопать?

Обратил внимание, что при чтении с raid1-диска, реальное чтение идёт только с одного из устройств. Причём устройства меняются, где-то раз в минуту, т.е. с минуту чтение идёт с sda, потом - sdb, потом меняются и по-новой.

Как-то странно. Логично же, что при raid1, система может читать данные с двух дисков одновременно, потому что на обоих полная копия данных, таким образом, скорость чтения должна была удвоится, а в реальности этого не происходит.

Это баг или фича?

Linux-3.2, mdadm 3.1.4.

# cat /proc/mdstat 
Personalities : [linear] [raid0] [raid1] 
md127 : active raid1 sdb2[1] sda2[0]
      1454644427 blocks super 1.2 [2/2] [UU]

Вывод iostat в разные моменты времени:

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda             298,00     75264,00        11,00      75264         11
sdb               3,00         0,00        10,00          0         10
md1               0,00         0,00         0,00          0          0
md127          1177,00     75264,00         8,00      75264          8
dm-0              0,00         0,00         0,00          0          0
dm-1              0,00         0,00         0,00          0          0
dm-2              0,00         0,00         0,00          0          0
dm-3              0,00         0,00         0,00          0          0
dm-4           1177,00     75264,00         8,00      75264          8
dm-6              0,00         0,00         0,00          0          0
dm-5              0,00         0,00         0,00          0          0



Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               2,00         0,00         9,00          0          9
sdb             399,00    101632,00         9,00     101632          9
md1               0,00         0,00         0,00          0          0
md127          1589,00    101632,00         8,00     101632          8
dm-0              0,00         0,00         0,00          0          0
dm-1              0,00         0,00         0,00          0          0
dm-2              0,00         0,00         0,00          0          0
dm-3              0,00         0,00         0,00          0          0
dm-4           1588,00    101632,00         0,00     101632          0
dm-6              1,00         0,00         8,00          0          8
dm-5              0,00         0,00         0,00          0          0

Типа лежал у меня в ~ конфиг ядра (.config), а каталога .config не было вообще. При старте mc просто сегфолтнулся при попытке создать каталог ~/.config/mc.


Повторяемость - всегда.
Версия - 4.8.0
Система - gentoo

Нужна библиотека (враппер над библиотекой) для кодирования сырого потока в mp3/ogg (хотя бы во что-нибудь).

Все что попадается - умеет максимум кодировать в файл. Т.е. stringio ему не скормить - требует именно полноценный файловый объект с открытым дескриптором. А мне мало того что не в файл надо, так еще и поток, т.е. временными файлами я не обойдусь - мне 24/7 надо.

Раньше был хороший проект - pymedia, но успешно загнулся.

Гугль безуспешен.

Так как я с консолью на "ты, бля, какого хрена", то естественно, что за годы использования линукса накопилась куча удобняшек. Особенно интересны короткие, одно-двухбуквенные сокращения, т.е. те, которые используются наиболее часто (или были созданы один раз для какой-то конкретной задачи, а потом были забыты в дебрях ~/.bashrc). В общем, делимся:

$ alias|egrep 'alias .{1,2}='|sort
alias bc='bc -l'
alias ..='cd ..' # офигенно удобно
alias cp='cp -i' # безопасность!
alias df='pydf' # красота!
alias d='ls --color'
alias du='du -h'
alias g='gqview'
alias l='less'
alias ll='ls --color -l'
alias ls='ls --color=auto'
alias mf='mplayer -input file=~/.mplayer/fifo'
alias mi='mplayer -vf lavcdeint' # смотреть интерлейснутые фильмы
alias mm='mplayer -idx' # смотреть битые файлы
alias m='mplayer'
alias ms='mplayer -ao pulse:yaht' # выводить звук на колонки на домашнем сервере
alias mv='mv -i'
alias p='play -c2 -r44100 -sw' # когда-то надо было лазить по толпе звуковых raw-файлов
alias rm='rm -i'
alias tf='tail -f' # это вообще юзаю стопицот раз в день
alias ь='m' # раскладки лень переключать
alias ьс='mc'
alias ьь='mm'

Наша небольшая контора с несколькими филиалами юзает, в основном, свичи cisco (в бытность linksys). Всякие на 24-48 портов, с POE и без, с возможностью стэка и без. Свичи только второго уровня. Вся интеллектуальная часть - на обычных серверах под линуксом (доморощенный говноадмин, да).

Чем надоели линксисы:

1. Глючный, угребищный веб-интерфейс. Каких-то централизованных тулз для настроек не юзаю. То не дает залогинится (сразу после логина выбрасывает по таймауту), то страницы открывает по 20-30 минут (!). Да и сам подход дебильный - вместо простых страниц массово юзаются тяжелые скрипты и весь интерфейс вместо упрощения наворочен ненужными контролами и меню. Я уж молчу, что не в каждом браузере оно вообще работает.

2. Затейливые глюки самого железа (хоть и не часто, да). Свежий пример - на slm2048 заглючили неиспользуемые порты. Т.е. те что были - работали нрмально, а все новые никаких признаков жизни не показывали. При этом индикаторы на них горели, а в админке - нет. После рестарта железки отвалились вообще все порты. Собственно, это и было последней каплей.

Что нужно:

1. Компания, производящая свичи второго уровня, с (и без) POE, VLAN, на 8-24-48 портов, с возможностью объединения в стэк (не принципиально).

2. С надежным, простым веб-интерфейсом для управления, работающим из любого браузера, включая links. Централизованная программа управления не катит, хлебнул этого говна еще с цисками.

3. Просто надежные сами по себе. Что б поставить и забыть об их существовании до момента реконфигурации.

Имеется корпоративная сеть с сервером exim1

Имеется наружний сервер для приема входящей почты exim2 (обслуживает домен company.com, там же висит pop3/imap). На нем прописаны всякие SPF, что б почта сотрудников, уходящая нашим клиентам, не попадала в спам.

В корпоративной сети есть куча серверов, некоторым из которых хочется иногда отправлять почту наружним клиентам, с красивыми заголовками (см. SPF).

Так как отправлять с внуренних серверов на внешний с помощью SMTP плохо (иногда инет лежит и часть SMTP-запросов могут тупо отваливаться), есть мысль сделать это через внутренний сервер exim1.

Т.е. условно, один из внутренних серверов генерирует письмо

From: info@company.com

To: user@example.com

и отправляет его на exim1.

Exim1 берет это письмо и не доставляет на example.com, а отправляет на внешний exim2 (если канал лежит, попытка повторяется согласно настройкам исходящей почты). А уже exim2 берет доставляет это письмо на example.com, а тот, в свою очередь, проверяет SPF, убеждается, что все нормально и всем становится хорошо.

Подскажите ключевые слова для рытья в документации. Пока не очень понятно, форвард это, редирект или еще что-то.

В качестве MTA, соответственно, стоит Exim.

Ищу решение для хелпдеска. Основное что надо - прозрачная работа с входящей от клиентов почтой, минимализм и надежность (типа кодировок, аттачей и т.п.)

Если подробно, система должна уметь:

1. Прозрачно работать с почтой, т.е. приходят письма с абстрактных адресов (т.е. заранее не известных), система их хавает и создает под каждое письмо тикет. Наш саппорт обрабатывает этот тикет и коммент по нему уходит пользователю (мылом). Если пользователь отвечает на это мыло, то тикет переоткрывается (а не создается новый) и саппорт снова может им заниматься. Тикеты должно быть возможно пинать внутри по людям. Т.е. письмо пришло на support@, его кто-то спихнул на vasia@, тот спихнул на petia@, тот закрыл тикет с резолюцией "нафиг". Резолюция ушла исходному юзеру с info@, что б он вообще не был в курсе про васю с петей (а может и в курсе, только что б следущие письма на петю попадали тоже в систему).

2. Поддержка нескольких адресов входящей почты со своими настройками. Условно говоря, есть support@, sales@, info@, на которые приходят письма разной тематики. Тикеты должны создаваться в трех разных категориях.

3. Исходя из №2, нужны права доступа, т.е. кто-то занимается только sales@, кто-то только info@.

4. Нужно стабильно уметь работать с письмами в самых затейливых форматах, не говоря уже о кодировках. Иврит и кирилица в одном письме, в формате HTML, который был отправлен с мака в ответ на html-письмо из ворда, с аттачами с русскими буквами - нормальное явление.

Имеется проект, порождающий различные логи в процессе работы. Иногда это тыща записей в день, иногда тыща в минуту. Размер логов - 1..100к байт. На данный момент все уходит в почту, но в часы пик это, мягко говоря, не очень хорошо работает.

Соответственно, есть понятие "актуальность логов", т.е. через какое-то время старые логи можно килять/архивировать.

Нужно понятие "полнотекстовый поиск по логам".

Нужно простое апи для быдлоязычка (php) или враппер типа сендмейла.

Нужен некий веб-интерфейс для удобного доступа к этим логам.

В свое время натыкался на различные лог-серверы, на эрланге, в частности, сейчас найти их не могу.

Помоги, всезнающий all!

70-persistent-net.rules

мешает в самые неожиданные и ненужные моменты. Ненавижу лютой ненавистью.

В смысле, что б я мог воткнуть кабель в usb-порт обычного компьютера, а другим концом воткнуть в другой компьютер, а тот меня видел как mass-storage device. Каталог там расшарить или еще что... Даж не знаю, как сформулировать (и гуглем не нагугливается).

А то есть телевизор с usb-портом, хочется как-то его заюзать без перетыкания флешки между компом и телевизором.

Не могу осилить концепцию моделей и индексов в моделях (несмотря на это пишу софт, использующий те и другие, хыхы).

Вот пример. Есть окно, в нем виджет QTableView выводящий содержимое какой-нить таблички базы данных (не принципиально).

Данные в базе могут менятся из других источников. Для слежения за этим у меня есть фоновый процесс, получающий команды от координатора или просто обновляющий данные по таймеру. Когда данные обновились, я их скармливаю в мою модель (потомок QAbstractTableModel).

В своей модели я реализовал методы headerData(), rowCount(), columnCount(), data().

В data() я выкодовываю из modelIndex его row и column, что бы знать, какое значение выводить в ячейке.

Пока данные не меняются - все работает отлично.

Дальше начинается интересное.

Допустим, курсор стоял на второй строке, а первая удалилась. Я предполагаю, что чтобы виджет это знал, модел-индекс у выделенной ячейки должен поменяться. Вопрос - как? При обновлении данных я шлю наверх сигнал layoutChanged() и dataChanged(). Виджет перерисовывает содержимое нормально (т.е. реализованных методов хватает), но текущее выделение меняется (но методов не достаточно) - курсор остается во второй строке, хотя должен бы был перепрыгнуть на первую.

Тут начинаются глупые вопросы.

Кто ответственен за генерацию modelIndex'ов? Я или модель? Надо их генерить при каждом обновлении данных или как?

Из документации я понял, что modelIndex - это внутримодельное представление данных, т.е. каждой ячейке моей таблицы я должен сопоставить уникальный modelIndex. Как их генерировать и где? Тут начинается ступор.

P.S. Пишу на PyQt, так что приветствуются примеры на нём. P.P.S. Какой-то среднепоследний стейбл, 4.7 примерно.

имеется сервер dell poweredge 510 с контроллером perc h700. В него воткнуто 12 дисков.

Нужно получить доступ напрямую к дискам, без RAID-а. Это вообще возможно?

lspci
00:00.0 Host bridge [0600]: Intel Corporation 5500 I/O Hub to ESI Port [8086:3403] (rev 13)
00:01.0 PCI bridge [0604]: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 1 [8086:3408] (rev 13)
00:03.0 PCI bridge [0604]: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 3 [8086:340a] (rev 13)
00:07.0 PCI bridge [0604]: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 7 [8086:340e] (rev 13)
00:09.0 PCI bridge [0604]: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 9 [8086:3410] (rev 13)
00:0a.0 PCI bridge [0604]: Intel Corporation 5520/5500/X58 I/O Hub PCI Express Root Port 10 [8086:3411] (rev 13)
00:14.0 PIC [0800]: Intel Corporation 5520/5500/X58 I/O Hub System Management Registers [8086:342e] (rev 13)
00:14.1 PIC [0800]: Intel Corporation 5520/5500/X58 I/O Hub GPIO and Scratch Pad Registers [8086:3422] (rev 13)
00:14.2 PIC [0800]: Intel Corporation 5520/5500/X58 I/O Hub Control Status and RAS Registers [8086:3423] (rev 13)
00:1a.0 USB Controller [0c03]: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #4 [8086:3a37]
00:1a.1 USB Controller [0c03]: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #5 [8086:3a38]
00:1a.7 USB Controller [0c03]: Intel Corporation 82801JI (ICH10 Family) USB2 EHCI Controller #2 [8086:3a3c]
00:1d.0 USB Controller [0c03]: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #1 [8086:3a34]
00:1d.1 USB Controller [0c03]: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #2 [8086:3a35]
00:1d.2 USB Controller [0c03]: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #3 [8086:3a36]
00:1d.3 USB Controller [0c03]: Intel Corporation 82801JI (ICH10 Family) USB UHCI Controller #6 [8086:3a39]
00:1d.7 USB Controller [0c03]: Intel Corporation 82801JI (ICH10 Family) USB2 EHCI Controller #1 [8086:3a3a]
00:1e.0 PCI bridge [0604]: Intel Corporation 82801 PCI Bridge [8086:244e] (rev 90)
00:1f.0 ISA bridge [0601]: Intel Corporation 82801JIR (ICH10R) LPC Interface Controller [8086:3a16]
01:00.0 Ethernet controller [0200]: Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet [14e4:163b] (rev 20)
01:00.1 Ethernet controller [0200]: Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet [14e4:163b] (rev 20)
02:00.0 RAID bus controller [0104]: LSI Logic / Symbios Logic LSI MegaSAS 9260 [1000:0079] (rev 04)
06:03.0 VGA compatible controller [0300]: Matrox Graphics, Inc. MGA G200eW WPCM450 [102b:0532] (rev 0a)


dmesg:

[ 2.865313] scsi0 : LSI SAS based MegaRAID driver
[ 2.873201] scsi 0:0:0:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.875717] scsi 0:0:1:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.877773] scsi 0:0:2:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.879842] scsi 0:0:3:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.881910] scsi 0:0:4:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.883969] scsi 0:0:5:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5

[ 2.888129] scsi 0:0:7:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.889770] eth1: Broadcom NetXtreme II BCM5716 1000Base-T (C0) PCI Express found at mem dc000000, IRQ 48, node addr 84:2b:2b:4a:45:cc
[ 2.890986] scsi 0:0:8:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.893168] scsi 0:0:9:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.895266] scsi 0:0:10:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 2.897324] scsi 0:0:11:0: Direct-Access ATA ST32000542AS CC34 PQ: 0 ANSI: 5
[ 3.094868] scsi 0:0:32:0: Enclosure DP BACKPLANE 1.10 PQ: 0 ANSI: 5
[ 3.104014] scsi 0:2:0:0: Direct-Access DELL PERC H700 2.30 PQ: 0 ANSI: 5

Есть сервер (самосбор) с 8 дисками. 6 подключены в контроллер на материнской плате, 2 - на внешний PCI-E контроллер.


Начались затейливые косяки с файлухой

Куски dmesg:


ata7.00: exception Emask 0x10 SAct 0x1 SErr 0x780100 action 0x6
ata7.00: irq_stat 0x08000000
ata7: SError: { UnrecovData 10B8B Dispar BadCRC Handshk }
ata7.00: failed command: READ FPDMA QUEUED
ata7.00: cmd 60/80:00:06:dd:3c/00:00:00:00:00/40 tag 0 ncq 65536 in
res 40/00:00:06:dd:3c/00:00:00:00:00/40 Emask 0x10 (ATA bus error)
ata7.00: status: { DRDY }
ata7: hard resetting link
ata7: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
ata7.00: configured for UDMA/133
ata7: EH complete
udev: starting version 146
<3>udev: missing sysfs features; please update the kernel or disable the kernel's CONFIG_SYSFS_DEPRECATED option; udev may fail to work correctly
ata7.00: exception Emask 0x10 SAct 0x2 SErr 0x780100 action 0x6
ata7.00: irq_stat 0x08000000
ata7: SError: { UnrecovData 10B8B Dispar BadCRC Handshk }
ata7.00: failed command: READ FPDMA QUEUED
ata7.00: cmd 60/80:08:06:df:3c/00:00:00:00:00/40 tag 1 ncq 65536 in
res 40/00:08:06:df:3c/00:00:00:00:00/40 Emask 0x10 (ATA bus error)
ata7.00: status: { DRDY }
ata7: hard resetting link
ata7: SATA link up 3.0 Gbps (SStatus 123 SControl 300)
ata7.00: configured for UDMA/133
ata7: EH complete




потом, через какое-то время



REISERFS error (device dm-3): vs-4080 _reiserfs_free_block: block 494542758: bit already cleared
REISERFS (device dm-3): Remounting filesystem read-only
------------[ cut here ]------------
WARNING: at fs/reiserfs/journal.c:3436 journal_end+0x119/0x130()
Hardware name: P5Q DELUXE
Modules linked in: xt_tcpudp iptable_filter ipt_addrtype xt_DSCP xt_dscp xt_string xt_owner xt_NFQUEUE xt_multiport xt_MARK xt_mark xt_iprange xt_hashlimit xt_conntrack xt_CONNMARK xt_connmark nf_conntrack ip_tables x_tables xfs exportfs i2c_i801 i2c_core
Pid: 10492, comm: afpd Not tainted 2.6.34-gentoo #1
Call Trace:
[<ffffffff81138629>] ? journal_end+0x119/0x130
[<ffffffff8103a508>] warn_slowpath_common+0x78/0xd0
[<ffffffff8103a56f>] warn_slowpath_null+0xf/0x20
[<ffffffff81138629>] journal_end+0x119/0x130
[<ffffffff81122959>] reiserfs_delete_inode+0xe9/0x110
[<ffffffff810d0e01>] generic_delete_inode+0x81/0x130
[<ffffffff810d0f0d>] generic_drop_inode+0x5d/0x80
[<ffffffff810cfc6d>] iput+0x5d/0x70
[<ffffffff810cc988>] dentry_iput+0x78/0xe0
[<ffffffff810ccafb>] d_kill+0x4b/0x80
[<ffffffff810cd541>] dput+0xa1/0x180
[<ffffffff810bc5c4>] __fput+0x174/0x200
[<ffffffff810bc66d>] fput+0x1d/0x30
[<ffffffff810b8e18>] filp_close+0x58/0x90
[<ffffffff810b8efd>] sys_close+0xad/0x100
[<ffffffff8100246b>] system_call_fastpath+0x16/0x1b
---[ end trace a30e273768a512a7 ]---




Я так понимаю, что из-за проблем с доступом к одному из хардов валится reiserfs? Или это не связанные проблемы?

И как узнать серийник диска (или sd?-имя), подключенный к ata7? Простое перечисление типа sda - ata0 (ata1?) не помогло. Тестирую сейчас все диски, но каждый около 5 часов прогоняет, а работа стоит.

Я, видимо, чего-то не понимаю в этой жизни, но я хочу, что бы содержимое ~/Desktop отображалось в качестве рабочего стола. Меня бесят плазмоиды, я не хочу панельки, я просто хочу рабочий стол. Как-то случайно нашел панель, которая показала мне содержимое ~/Desktop, но потом случайно закрыл и больше её не видел. Да и не на весь экран она была.

Что за жесть? Куда они дели мой рабочий стол?

P.S. Пользуюсь линуксом лет 10 уже, а такой беспредел первый раз вижу.

P.P.S. Kde-4.4.5, Gentoo.

P.P.P.S. Гуглить пытался, безуспешно.

Макбуки умеют (по крайней мере, в mac os) поднимать максимальный ток на usb-портах свыше номинальных 500mA. Можно ли то же самое сделать в линуксе? Гуглится на эту тему как-то слабо...

Опишу ситуацию.

Имеется макбукпро с линуксом на борту. Имеется ipad, отличающийся высокой прожорливостью по usb. Выглядит это так: при загрузке в mac os ipad со включенным экраном заряжается. С выключенным заряжается быстрее. В линуксе же со включенным экраном ipad пишет, что зарядка не идет, а с выключенным экраном-таки заряжается.

Где что подкрутить?

Имеется задача - работать с двунаправленным сокетом.

Т.е. я туда отправляю какие-нить пакеты и получают ответы в виде таких же пакетов. Формат пакетов простой (что-то вроде http). Роутинг пакетов оставим за кадром, это не проблема.

Проблема в, казалось бы, тривиальной штуке - как мне разбирать входящие данные?

Если я открываю сокет в синхронном режиме, то попытка чтения некого количества байт (N), вызов recv(N) может повиснуть на неопределенное время. Делать recv() даже по одному байту - не спасение, да и паразитная нагрузка.

В асинхронном режиме я поллю сокет и читаю ровно столько, сколько там накопилось. Дальше проблема выпарсивать пакет. Пакет мог прийти не полностью или могло прийти сразу несколько пакетов. До сих пор я все делал регекспами или каким-нить split, если формат пакета позволял, но подозреваю, что есть более кошерные, красивые способы. Итоговый код выглядит совершенно уродливо и меня терзают подозрения, что есть красивые, давно придуманные до меня, способы.

Помогите с ключевыми словами для поиска.

Не совсем про линукс...

Подбираем корпус для файлопомойки. Присматриваемся к http://www.chenbro.com/corporatesite/products_detail.php?sku=146

Нужно много дисков и их тут с запасом. Смущает - куда втыкать 24 сата диска (материнка на 6-8 контроллеров + 2-3 pcie контроллера, хых).

В спецификации написано, что в корпусе 6 штук 4 port sata/sas backplane - это что? Интуиция мне подсказывает, что это некий переходник с 1 на 4 сата-порта. Я прав? Если да, как такой переходник работает с обычными контроллерами на десктопных материнках? Что со скоростью и доступностью винчестеров с таким переходником?

Облака-шмоблака, в огороде бабка.

Росла-росла наша конторка, да и выросла до десятков серверов по всему миру (пробовали разные датацентры, ололо). В итоге, появилась смешная идея - раз уж у нас есть много серверов по всему миру, почему б не заюзать их под что-нить полезное. Например, под распределённый кластер для размазывания нагрузки (есть сервисы, периодически попадающие под ddos, трафик других сервисов зачастую выходит за лимиты хостера). Вот только беглый поиск по гуглям не выявил ничего полезного в этом направлении. Всё что есть - распределённые системы виртуализации (виртуализация - шмиртуализация, нафиг-нафиг) или параллелизация выполнения типа MPI.

Интересует софт для организации облаков:

1. Для организации распределённой системы доставки контента. То есть выкладываю я 1 файл на 1 сервер и хочу, что б обратившись к любой из нодов кластера я мог этот файл получить (через редирект, например). Но при этом не было тупого копирования всех файлов на все ноды, а было умное, т.е. например, популярные файлы есть везде и идёт минимизация трафика с учётом геолокации, а непопулярные - где попало (даже не где попало, а где свободного трафика больше).

2. Для организации распределённой вычислительной среды по схеме чё-то вроде google apps. Т.е. выкладываю я скрипт в одном месте и сразу же везде он может работать. Разумеется, без sql, допустим, с какой-нить nosql-базой, распределённой точно так же, по всему миру.

Бывает ли доступный (читай, opensource) софт такой природы или все повелители облаков пишут всё сами под конкретные нужды?