Bareos - форк Bacula

[sarcasm]Класс. Мне сразу стало понятно, что это такое, и для чего это используют.[/sarcasm]

Добавил кратко что такое есть Bacula, спасибо.

Вот блин, уже долго бакулу юзаем :( А эта бареос уже стабильна ? Будет она в оф. репе Шапки 7 ? Формат файлов такой же ?

А эта бареос уже стабильна ?

Ну мы пользуем. Полёт нормальный.

Kern Sibbald недавно заявлял, что развитие бакулы идет полным ходом, и что все фичи из bacula enterprise обязательно перекочуют в bacula community включая большинство плагинов (кроме Oracle из-за лицензионных ограничений), однако происходить это будет, по договоренности с FSF, только через 3 года после появления фич в bacula enterprise. Многим рулезным фичам оттуда скоро как раз исполнится 3 года, так что будем смотреть, как оно исполняется. А пока развитие community версии действительно совершенно застопорилось, и bareos выглядит более интересным. Но если фичи из bacula enterprise действительно перекочуют в community, то бареосу догонять и догонять.

можно конкретнее? мне интересно когда откроют дедупликацию и VSS

облазил сайт, но конкретного набора фичеров не нашел. Мне надо бекапить разные SQL (mysql, mssql, postgres), нужна, как в бакуле, дедупликация хранимых бекапов, и в виндовых агентах поддержка VSS. Оно есть, или где?

Только файлы.

Bacula работает только с файлами. Для копирования всяких мускулей нужно писать pre-backup сценарий с mysqldump'ом, потом его выхлоп копировать.

VSS есть.

VSS кажись было.

Тормозит на восстановлении?

Оно всё так же тормозит на восстановлении файлов из-за того что трактует тома на НЖМД как ленточные устройства, потому читает их последовательно пока не дойдёт до нужного места?

Как сказали на Хабре (и кто-то заплюсовал): «Используйте Bacula если не собираетесь доставать данные из архива.»

Копирует Bacula хорошо, почти отлично, но восстановление идёт очень медленно.

VSS нет.

Простите, кажися всмомнил. Вендовый клиент не умеет VSS, потому для таких вещей как «Снимок системы» надо было pre-backup'ом дёргать вендовую консольную утилитку, умеющую VSS, а потом копировать её выхлоп. Кажется так.

Уже давно есть в бакуле пайп-модуль для прямого бэкапа бд

Копирует Bacula хорошо, почти отлично, но восстановление идёт очень медленно.

Ну во первых восстановление это не штатная ( аварийная ситуация ) и потом я у себя рублю тома по компьютерам и по типам архивов ( по дате смысла рубить нет ) так что не такое уж оно медленное восстановление то.

Копирует Bacula хорошо, почти отлично, но восстановление идёт очень медленно.

И восстанавливает отлично.

Вендовый клиент не умеет VSS

Опровергаю:

2014-03-09 00:35:21   top.local JobId 14642: Generate VSS snapshots. Driver="Win64 VSS", Drive(s)="C"

Мне надо бекапить разные SQL (mysql, mssql, postgres),

Все что угодно, надо только данные подготовить для забора bacula.
Client Run Before Job

This directive is the same as Run Before Job except that the program is run on the client machine. The same restrictions apply to Unix systems as noted above for the RunScript.

Мы бэкапим и LVM и SQL разные. Достаточно один раз схемы продумать, скрипты написать, оттестировать, а потом одно удовольствие.

Bacula торт?

Топик почитать, так Bacula торт, а не та какашка в форме торта, которая мне запомнилась 5 лет назад.

Топик почитать, так Bacula торт, а не та какашка в форме торта, которая мне запомнилась 5 лет назад.

На первом этапе внедрения, об нее можно голову сломать, но потом когда приходит понимание ее бизнес-логики все идет просто прекрасно. Для успешной эксплуатации необходимо знать ее полную функциональность и особенности, отталкиваясь от этого ее «готовить». И тесты, тесты, тесты на этапе внедрения.

Было говно.

На первом этапе внедрения, об нее можно голову сломать, но потом когда приходит понимание ее бизнес-логики все идет просто прекрасно.

Сломал, понял. Тесты показали, что восстановление двухтерабайтного файлоотстойника заняло сутки.

И кстати, Bacula научилась правильному шифрованию? Раньше названия файлов оставались открытыми, потому я складывал нешифрованые бакульные архивы на LUKS.

Тесты показали, что восстановление двухтерабайтного файлоотстойника заняло сутки.

Сейчас голословно утверждать буду, но на момент внедрения поразило именно быстрое восстановление по сравнению c обычной распаковкой. Возможно у Вас были некоторые нюансы не учтены работы с файлами вместо лент.

Умеет, то ли вообще по-умолчанию, то ли опцию выставить надо. Руками vssadmin дёргать не надо.

Из файлов восстанавливает шустро, сравнимо с обычным копированием по сети. С лентами никогда не работал

Вероятно не учтены нюансы.

Возможно у Вас были некоторые нюансы не учтены работы с файлами вместо лент.

Я склоняюсь к этому мнению тоже. Архивация шла достаточно быстро, а вот восстановление очень медленно. А если попросить восстановить один файл, то всё равно Bacul'а сначала долго шуршала (видимо читала том-файл на файловой системе как ленту, последовательно), и потом доставала нужный файл.

Да-да, а на заборе много чего тоже написано. И через три года, когда они таки сподобятся, половина их community-юзеров будет сидеть на форке. А оставшиеся будут «в процессе».

Например в форке уже включили с дочерние проекты подпиленную webacul'у и грозятся поддерживать в актуальном состоянии.

Там же:

Support for Blocksize settings per Pool
Python plugin interface
We've ported all Bareos components on Windows
Reverse data channel initialization aka passive clients

Последнюю фичу просили чуть ли не три года, но воз, как говорится, и ныне там.

Если они и дальше будут щёлкать е**лом, юзеров у них не останется вовсе.

P.S. Вот это вообще шикарно: http://www.bareos.org/en/news/items/lawsuite-between-bacula-systems-sa-and-ba...

И через три года, когда они таки сподобятся, половина их community-юзеров будет сидеть на форке.

Угумс. Надеюсь оно просто здохнет, как тот xfree86

Вендовый клиент не умеет VSS, потому для таких вещей как «Снимок системы» надо было pre-backup'ом дёргать вендовую консольную утилитку, умеющую VSS, а потом копировать её выхлоп. Кажется так.

Не знаю как сейчас, а года три назад, когда щупал бакулу, бесплатный клиент под винду умел vss и это было заявлено в его фичах. Без этого даже не стал бы смотреть в сторону бакулы.

Теперь есть конкурент. Bacula будет бороться за рынок, я думаю. Посмотрим будет или нет и как качественно.

а что с дедупликацией?

File Deduplication using Base Jobs

хм, значит это дедупликация файлов, не блоков? спасибо

Я как понимаю дедупликация блоков в enterprise

Вот какая-то старая информация и не первоисточник. Но раскапывать, что бы понять, что на данный момент есть в этом направлении можно.

ne nujno.

Блочная дедупликация была представлена в июне 2013-го на презентации в Амстердаме, так что скорее всего не раньше 2016. Проще заюзать что-нибудь с ZFS. Файловая дедупликация существует давно, но сильно другое. VSS вроде уже давно существует и в community версии.

Если бакулу правильно настроить, все там нормально и быстро и с бекапом и с восстановлением. Но из-за того, что она изначально и долго была заточена только под ленты, настроить ее на нормальную работу с диском ну очень сложно, зато потом работает стабильно как скала. Ситуацию усугубляет то, что из-за непомерной сложности бакулы мало кто осиливает ее настроить для бекапов больших систем. Вследствие этого, в инете (как в русском, так и в англоязычном) полностью отсутствуют мануалы для правильной настройки крупных систем. Я настроил, но для этого мне пришлось перечитать весь mail list бакулы, перелопатить кучу исходников, словить кучу граблей. Сейчас суммарно проворачиваются сотни терабайт в неделю с живых систем. Теперь могу сказать, что у бакулы есть потенциал практически на неограниченный размер бекапируемой системы, а главное - она очень надежна, и как ни странно, просто и понятно устроена (конечно в сравнении с энтерпрайз монстрами типа тиволи). Может быть соберусь как-нибудь написать статью, но это блин сложно, и много времени отнимет - материала очень много.

Все что угодно, надо только данные подготовить для забора bacula.

Не так все просто. Обычно на нагруженных базах стоят или быстрые SAS диски, или еще более быстрые SSD, на которых вечно не хватает места, да и ресурсов для подготовки бекапов. Для баз данных в enterprise бакуле есть спец. плагины. Например есть для postgres'a - хороший, умеет снимать данные 2-мя способами (PITR и dump) и на лету передавать их напрямую стораджу. Но стоит отдельных денег и не продается для community версии. 3000$ за плагин и 10к$-50к$ за enterprise бакулу жаба задушила платить, пришлось писать свой, который успешно бекапит десятки очень загруженных баз. До этого еще пытался снимать пайпами (у бакулы есть такая фича), не понравилось - слишком нестабильно и трудно сконфигурить.

Сломал, понял. Тесты показали, что восстановление двухтерабайтного файлоотстойника заняло сутки.

Восстановление двухтерабайтного файлоотстойника займет ровно столько времени, сколько может выдать дисковая система и пропускная способность сети. Это если конечно правильно все настроить.

И кстати, Bacula научилась правильному шифрованию? Раньше названия файлов оставались открытыми, потому я складывал нешифрованые бакульные архивы на LUKS.

Бакула хранит все названия файлов, пути, размеры и т.п. у себя в SQL базе, это нужно для быстрого поиска. Так что даже если их в LUKS раздел класть - в базе все дерево как на ладони. Однако на стораджах, которые как правило делают отдельно от базы (да хоть на S3) будет все закрыто от посторонних глаз

Да-да, а на заборе много чего тоже написано. И через три года, когда они таки сподобятся, половина их community-юзеров будет сидеть на форке.

Главное, чтобы авторы этого форка не сдулись, как это часто бывает. А Kern Sibbald это настоящий фанат своего детища, пилит бакулу практически в одиночку уже 10 лет, причем весьма успешно и качественно, и останавливаться по его словам не собирается. Бакула в энтерпрайз мире сейчас на подъеме, и baculasystems активно ищет представителей для продаж во многих странах мира. Если договоренности с FSF будут исполняться, как обещал Kern (вроде во вранье замечен не был), и в новую версию бакулы массово внесут фичи из enterprise, то у форка шансов немного. Хоть они конечно и приятные фичи написали, и развиваются тоже неплохо.

Если они и дальше будут щёлкать е**лом, юзеров у них не останется вовсе.

Юзеров среди обычных пользователей у нее и так немного из-за нереальной сложности настройки. А для enterprise там все настраивает под ключ очень толковый саппорт (а бакула, как известно, если один раз настроена правильно - работает вечно), среди enterprise популярность бакулы растет очень сильно.

Не так все просто. Обычно на нагруженных базах стоят или быстрые SAS диски, или еще более быстрые SSD

Мы эту проблему решили подключением +1 диска к серверам для транзита данных.

а бакула, как известно, если один раз настроена правильно - работает вечно

Подписываюсь под этими словами.

Обновлял ли кто-нибудь Bareos Director до версии 14.1? Есть ли мануал как это правильно сделать?

Нет. Но вот тут http://www.bareos.org/en/HOWTO/articles/Upgrade_from_Bareos_12_to_Bareos_13.html написано вполне разумно:

we recommend to do a manual backup of your configuration files (/etc/bareos) and of your bareos database before upgrading just in case something should go wrong with the update.

You need to upgrade Director and Storage Daemon at the same time.

Эту инструкция я встречал, однако кроме фразы, что для обновления необходимо обновиться я ничего не увидел. К тому же предполагаю, что при переходе на версию 14 потребуется обновить базу данных.

По идее, оно само должно. По карйней мере, если ты через версии не перепрыгиваешь от 12 сразу к 14.