LINUX.ORG.RU
ФорумAdmin

Двунаправленная синхронизация

 ,


0

2

всем привет,

Дано, Два компа, 6 миллионов файлов, (два больших харда), где то мелкие файлы кода, где то большие видео файлы, в целом обычная домашняя помойка, OS FC36 на ext4, в офисе такой же комп и такие же харды.

Посоветуйте, что можно использовать для нормальной двунаправленной сернхронизации по сети, ищу решения доступные в Linux, и скорее не сторонние продукты - не хочу ловить их глюки, данные важные, код желательно, чтобы был близок к вылизанному coreutils. пока обхожусь маунтом по NFS.

Расстматривал rsyncd и lsyncd, но они скорее для ононаправленной, или я не понял как их раскурить правильно.

Ищу решение которе будет ориентировать видимо на MTIME (не на CTIME), ну и если опционально cможет ориентироваться на контрольную сумму по необходимости, ибо контрольные суммы для такого объёма считаться будут много часов.

Обновления real-time не нужны, в районе 30 минут вполне гуд - пока туда или оттуда доеду как раз засинкается - это вполне устроит.

p.s. файлов много и всякие inotify слежение врядли уместны.

Зранее спасибо за советы


Ответ на: комментарий от t184256

Данные мне важнее, чем сторониие проекты с кодом писанным студентами. synching на тестах гоняет туда-сюда порядка 20 Гигов при каждом рескане директории которые не меняются на той и на другой стороне - не может понять, что они идентичны, это кроме того, что в код в любой момент может прилететь баг котороый дропнет у вас все что есть (я даже чуть подебажил его, но не репортил, знаю почему гоняет, итог - такое качество кода меня не устраивает точно), еще раз хочу отметить, что подобные «студ-поделки» не годятся. unison не смотрел, за него говорить не буду, но и смотреть видимо тоже не буду ибо не смотя он для меня сродни synching и ибо скорее всего будут другие подводные камни. в любом случае я видимо за что-то более архаичное и «стандартное» в плане принадлежности к ОС Linux.

VoDD87
() автор топика
Ответ на: комментарий от VoDD87

Что объективно (без предубеждений) не понравилось в synching? unison?

unison не смотрел, за него говорить не буду, но и смотреть видимо тоже не буду ибо не смотя он для меня сродни synching и ибо скорее всего будут другие подводные камни.

М-да, никаких предубеждений.

Удачи с таким подходом и бэкапов вам.

в любом случае я видимо за что-то более архаичное

Unison, если что, 25 лет, и свежих багов уже не прилетит.

t184256 ★★★★★
()
Последнее исправление: t184256 (всего исправлений: 1)

В предположении что днем находитесь/работаете за рабочим компом, а с вечера до утра работаете за домашним компом, то можно использовать Rsync следующим образом: утром перед отъездом на работу запускать синхронизацию файлов с домашнего компа на рабочий и, затем во время рабочего дня раз в час или полчаса выполнять синхронизацию с рабочего компа на домашний. Перед отъездом с работы домой делать последнюю синхронизацию с рабочего компа на домашний. После приезда с работы домой запускать синхронизацию с домашнего компа на рабочий и делать её периодически до утреннего отъезда на работу. Это по рабочим дням. Про выходные и праздники - нужно смотреть отдельно.

vdk10
()

Мне кажется, rsync решает вопрос. Надо только внимательно вкурить руководство, чтобы в две стороны синхронизироваться и ничего не перетирать лишнего. Там просто миллион опций.

А так-то, имхо, лучше не между машинами гонять, а держать одну копию данных в сетевом хранилище, доступном с обоих машин (и его бэкапить регулярно).

paddlewan
()
Ответ на: комментарий от VoDD87

мнээээ синхфинг синхронит пару гигов музыки, пару гигов фоток, гиг аудиокниг и что там еще между андроидным телефоном, линуксовым десктопом, линуксовым «сервером» без гуи и компухтером под вин7. плюс еще несколько раздач. много лет, без каких-либо лишних перезаливаний…
умвр :) чяднт ??
до него также гонял с помощью ресилио.

и это еще мелочи Как вы организовали бекапы на своих компьютерах? (комментарий)

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

зато крутто современно и ваааще :) ЭТОЖ ГИТ !!! :)
современная мылодежь тор взамен прокси использует, даже технологии не различает, про что тут говорить…

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 1)

Пользуюсь unison, жить можно (хотя файлов не миллионы, конечно). Самое бесячее в нем — это «я вижу, у унисона на той стороне другая минорная версия, сегодня не синхронизируеш».

И чем дальше в лес, тем больше мне думается, что потоки информации лучше стараться делать однонаправленными.

Nervous ★★★★★
()
Ответ на: комментарий от Pinkbyte

Это чтобы дополнительно трахаться с git-lfs или иметь дичайшие тормоза в противном случае?

А главное, хранить все версии каждого блоба без какой-либо дельта-компрессии хотя бы на одном из серверов

annulen ★★★★★
()

Вы кейс опишите (зачем именно Вы синхронизируете файлы), может народ Вам предложит на задачу посмотреть «под другим углом».

Harliff ★★★★★
()

Мысли следующие:

  1. почему бы не использовать один файловый ресурс, подключаемый через NFS/SMB over VPN? Ну и бэкапить его регулярно куда-нибудь.

  2. почему бы не использовать другую файловую систему, в которой вопрос синхронизации (односторонней как минимум) решается проще? Ту же ZFS, например.

Harliff ★★★★★
()
Последнее исправление: Harliff (всего исправлений: 1)