mysql: активная и актуальная базы

Софтина только пишет, к примеру, rsyslog, или правит данные? Если только пишет, триггер на INSERT и ежедневное удаление устаревших записей в первой таблице.

Триггер, естественно, пишет вставленное во вторую базу.

Только пишет. В базе ~10 таблиц. Спасибо за наводку, буду пробовать.

Вот тебе чистящий мой скрипт для примера:

#!/bin/bash

database=Syslog
dbhost="localhost"
sqluser="Syslog"
password="********"
mysqld=/usr/bin/mysql

cat /usr/local/sbin/rsyslog/rsyslog-hosts.conf | while read line
do
    line2=$(echo $line | sed 's/[\._-]//g')
    export table=SystemEvents_$line2

    SQL_DELETE="DELETE FROM $table WHERE ReceivedAt < CURDATE() - INTERVAL 365 DAY;"
    SQL_OPT="OPTIMIZE TABLE $table;";

    $mysqld -u$sqluser -p$password -h$dbhost -e"$SQL_DELETE" -D$database
    $mysqld -u$sqluser -p$password -h$dbhost -e"$SQL_OPT" -D$database
done

Пробегает нужные таблицы (на самом деле список лучше получать из самого мускуля) и удаляет устаревшие по полю ReceivedAt записи.

Во время OPTIMIZE TABLE табличка успешно лочится и ваш софт курит бамбук. Тут неплохо бы юзать партишнинг, и удалять партиции целиком, это в том числе будет менее затратно по I/O для больших таблиц.

Как раз сейчас накатываю MySQL 5.5, который умеет TRUNCATE TABLE. Думаю сделать 12 разделов и чистить по одному в месяц.

Лучше накатите postgresql, он всяко лучше подходит для непрерывной работы, чем mysql.

Да уже вся обвязка на мускуль заточена... Сделал партиции, перелил данные из живого сислога, грохнул пару месяцев - работает шустро. Задокументирую, пообедаю и буду переделывать боевое окружение :)

Почитал на тему Archive Storage Engine, вроде то, что надо, но пугает один момнет. Самая толстая таблица сейчас это

SELECT COUNT(*) FROM data ;
+----------+
| COUNT(*) |
+----------+
| 12186980 |
+----------+
1 row in set (22.87 sec)

Это за месяц примерно.

Пранируется хранить архив за год. Токлько вот есть вопрос, работать с такими большими данными за 1 год в Archive Storage Engine это очень большие тормоза?

Без запросов, которыми вы «работать» будете, их планов сказать ничего нельзя.