сабж. Ищу реплицируемую фс для кучи (10^7) относительно мелких (в пределах 1мб) файлов, умеющую failover. Короче тупо raid 1 over ip. Сейчас стоит одиночная nfs-шара, так что крайне желателен posix-интерфейс чтоб не переписывать 100500 строк кода.
Потыкал палочкой CephFS, но под примитивной нагрузкой в 5 wops мелкими текстовыми файлами по 1-2кб тот же ls складывается до 4-5 секунд на 1к файлов в директории, и время продолжает расти линейно при увеличении числа файлов (это ssd кстати). Возможно рукожоп, но хз, как-то такая деградация прям не впечатлила, ровно как и вечные not ready for production в их рассылке
Ceph rdb посмотрел, но там все равно нужна поддержка со стороны фс, банальный ext4 не взлетит
хочу глянуть gluster и lustre, но про первый читал много «приятных» отзывов в плане производительности. В конце концов всегда можно попытаться поставить тот же Moose, хоть он и платный.
Отпишитесь если кто уже решал такую проблему, и как/чем решали
upd: нефиг было тестить производительность через ls, у него свои косяки. ls --color=never отрабатывает за 10мс