Нужен тест и аудит FUSE ФС для Mail.ru Cloud

В планах дальше шифрование файлов перед заливкой.

А такое там не банят?

Есть отличия с этим ?

// Мимокрокодил

Если и банят, одной проблемой будет меньше. Не буду париться и писать что-то в стол.

Зачем вообще держать облако, если ему никто не доверяет?)

Там только read, readdir, getattr реализован, т.е. read-only.

Я не пользуюсь ни mail.ru ни диском от яндекса и уже не помню кто, но кто-то из них или оба не любят шифрованные файлы.

В планах дальше шифрование файлов перед заливкой.
А такое там не банят?

Ахаха. Быдлооблако! Прекрати! Нахрен оно тогда нужно?

У меня 1ТБ стораджа со времён бета-тестинга MRu-облака. Не пропадать добру.

No support for files larger than 2GB (can be circumvented by splitting files in chunks, patches welcome)

Эталонное поедание того самого...

А чего ты с ним делать собираешься? Аниме битое по чанкам хранить?

Аниме битое по чанкам хранить?

Ты прямо читаешь мои мысли. Можно и не битое по чанкам, если там не полнометражки, то серии меньше 2Гб идут.

В чем может быть проблема?

-- The C compiler identification is GNU 6.2.1
-- The CXX compiler identification is GNU 6.2.1
-- Check for working C compiler: /usr/bin/cc
-- Check for working C compiler: /usr/bin/cc -- works
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Detecting C compile features
-- Detecting C compile features - done
-- Check for working CXX compiler: /usr/bin/c++
-- Check for working CXX compiler: /usr/bin/c++ -- works
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Detecting CXX compile features
-- Detecting CXX compile features - done
-- Cmake system: Linux-4.8.13-1-ARCH
-- Cmake arch: x86_64
-- Found FUSE: /usr/include  
CMake Error at CMakeLists.txt:27 (ADD_SUBDIRECTORY):
  The source directory

    /var/Build/marc-fs-git/src/MARC-FS/contrib/curlcpp

  does not contain a CMakeLists.txt file.


-- jsoncpp include dirs: /usr/include
-- jsoncpp libs: /usr/lib64/libjsoncpp.so
-- Found jsoncpp: /usr/include  
-- Configuring incomplete, errors occurred!
See also "/var/Build/marc-fs-git/src/MARC-FS/build/CMakeFiles/CMakeOutput.log".

CMakeOutput.log - http://pastebin.com/jNVhuffF

No support for files larger than 2GB

Не надо так.

$ ./marcfs /path/to/empty/folder -o username=your.email@mail.ru,password=your.password

Что думаешь насчёт хранения кредов в файле типа '.mailrucloudrc'?

No support for files larger than 2GB

Не надо так.

Это ограничение Mail.ru, насколько я понимаю.

https://gitlab.com/Kanedias/MARC-FS#installation

Попробовал. Вроде смонтировалось, но как-то странно. Директории есть, а файлов нет. И в Директории не зайти, нет права, хотя смотрю свойства, вроде принадлежит мне. Создать новые, или закинуть что-то невозможно.

git submodules - клонируй репозиторий рекурсивно, git clone --recursive

А можешь с опцией -d смонтировать? И лог прислать, который выведет.

В будущем так и придётся сделать, настройки ключа для шифрования нужно будет откуда-то брать

А с чего бы им банить? Не их дело, какие файлы туда заливает пользователь.

Спасибо за проект, в свободное время гляну.

Это ограничение Mail.ru, насколько я понимаю.

Ограничение зачем?

git clone --recursive

Да помогло. Арчевский makepkg делает git clone без --recursive. Пришлось в ручную прописывать.

Как проверить статус подключено или нет? Как отмонтировать?

Только engfs, только приватность. Петухов, потирающих ручки - в лес.

Теперь он выписывает тритыщимильён «Returning API object to the pool...» и ест процессор. При чём и с опцией -d и без. Перезагружал комп, не помогло.

А как отмонтировать, кстати?

Пересобрал заново. Запустил с ключём -d, папка, куда смонтировал, пропала, лог улетел за пределы, как его весь выловить? Но примерно такое содержание: http://pastebin.com/MYUBr4rq

Я лишь имею в виду, что это вопрос не к автору, а к Mail.ru.

fusermount -u /path/to/remote/folder Пожалуй, добавлю и в README строчку об отмонтировании.

тритыщимильён

Так и надо! Это он запросы обрабатывает. Как только папка смонтировалась, туда что только не ломится. Кеды сразу идут индексировать, например

Отлично, судя по всему падает оттого, что не хватает блокировок когда кеды слишком быстро ломятся на диск. Спасибо за тест, буду исправлять.

Что такое engfs?

Что такое engfs?

ой, encfs...

Я ещё когда отключили webdav взялся ковырять протокол десктопного/мобильного клиента, чтобы зделоть FUSE-based ФС, но как-то быстро забил. Молодец что не сдался.

В планах дальше шифрование файлов перед заливкой.

Для этого есть отдельные ФС.

В планах дальше шифрование файлов перед заливкой.

Вот и юникс-вей. Мало одного дырявого EncFS - сделаем ещё один, теперь в комбайне с мейлрушечкой.

Нет. Массово точно нет. И Яндекс тоже нет. Это пункт на случай злоупотреблений. Как и многие другие.

ну просто потому что банально определить в файле мусор или зашированные данные - задача не тривиальная. какойнить запароленный рар - еще можно автоматически определить

FUSE не поддерживает fs-piping, что ж поделать. Наверное, у вас и конструктивные замечания есть, ну или может предложения как решить эту проблему?

Какой ещё фс-пипинг? Монтируешь облако, поверх монтируешь encfs.

Знаю, но удобно ли это будет? Фактически, пользователю тогда придётся сперва смонтировать encfs, зашифровать все свои файлы, потом смонтировать мейлру и скопировать туда.

А можете продемонстрировать?

./marcfs /path/to/empty/.folder -o username=your.email@mail.ru,password=your.password

encfs /path/to/empty/.folder/ /path/to/empty/encrypted-folder

Как-то так...

Делает дедупликацию файлов невозможной. 1000 человек залюют один и тот же фильм без шифрования — это будет 5 гигабайт. С шифрованием — 5 терабайт.
Никто не будет бесплатно раздавать дисковое пространство, такой благотворительностью только Mega занимается

1000 человек залюют один и тот же фильм без шифрования — это будет 5 гигабайт. С шифрованием — 5 терабайт.

Так буржуям и надо!

Но буржуям это не надо.

Хотя на самом деле я даже сомневаюсь, что там делают дедупликацию. Вон на ютаб посмотрите — петабайты всякого дерьма хранят и просят ещё. Хотя у них реклама. С другой стороны у мэйл.ру эти диски наверняка простаивают(типа резерв) и вот чтобы не простаивали, они решили хоть как-то их монетизировать пытаться(как амазон).

Попробую завтра, но если это реально работает, добавлю в README обязательно, и выкину из TODO. Спасибо.

Там есть дедупликация ;) Это тебе могу гарантировать. Сперва закачивается файл, а потом добавляется в директорию только его хэш. Можно сколько угодно раз, зная хэш, добавлять один и тот же файл - и размер твоего «облака» будет расти, хотя это, по факту, только фиктивные хардлинки н один и тот же файл.

Это тебе могу гарантировать.

Поверю только инсайдеру из мэйлру.
Но если есть, то хорошо.
нашёл тут, сказано, что есть дедупликация там https://habrahabr.ru/company/mailru/blog/231785/

Я так сезон Black Mirror за 3 секунды целиком залил — кто-то до меня уже заливал :)

https://habrahabr.ru/company/mailru/blog/231785/

На данный момент дедупликация позволяет нам снизить нагрузку на хранилище примерно на 15%.

Ради 15% стоило напрягаться и запрещать шифрование?

Ради 15% стоило напрягаться и запрещать шифрование?

Попробуй мыслить масштабно: если там 1000 серверов, то 15% - это 150 серверов. Это много.

шифрование файлов не банят? Это пункт на случай злоупотреблений

А где? https://cloud.mail.ru/LA/

Делает дедупликацию файлов невозможной.

Мне как-то пофиг на эту их дедупликацию, любят рыбку - полюбят и шифрованные файлы.

Наверное лучше не шифровать всё облако и назвать понятнее

./marcfs /path/to/empty/folder -o username=your.email@mail.ru,password=your.password
encfs /path/to/empty/folder/.encrypted /path/to/decrypted