LINUX.ORG.RU

быстрое cp


0

3

есть очень много файлов, как их быстро скопировать из одной директории в другую на одном хдд?

cp долго работает

создать равный по размеру раздел, и туда dd-шнуть первый раздел с многими файлами

anonymous
()

В source-каталоге в tarball закатай все файлы, перенеси tarball в target-каталог и там разверни. Может, и быстрее получится. :)

DeVliegendeHollander ★★
()

Промежуточное копирование большими шмотями в tmpfs. Cpio pass mode.

Неудобно но быстро.

mmarkk
()

man 2 sendfile

anonymous
()
Ответ на: комментарий от DeVliegendeHollander

Блин, тупо удаляешь рабочую копию svn-репозитория, и она удаляется по 10 минут. Если нужно грохнуть папочку ~/svn или посчитать ее размер - можно пойти выпить чаю.

может, есть специальные ФС для работы с мелкими файлами?

stevejobs ★★★★☆
()
Ответ на: комментарий от stevejobs

может, есть специальные ФС для работы с мелкими файлами?

Когда-то где-то (не помню) читал и смотрел статистику и экспериментальные данные по различным линуксовым фс при разных условиях (много мелких файлов, много файлов разных размеров, огромные файлы и т.д.) Но источник и результаты этого исследования вспомнить не могу. :( Гуглить надо.

DeVliegendeHollander ★★
()
Ответ на: комментарий от baverman

да и так git-svn почти везде, но это жутко ненадежная штука, особенно на винде. Постоянно вылетает с ошибками в перле. И поправить ничего нельзя, ибо весь git-svn - это один огромный страшный перловый скрипт, в котором конь не валялся.

stevejobs ★★★★☆
()

Если не нужна защита от правок, а просто создать копию - сделай хардлинки. man cp. Я сегодня так 90 Гб минуты за 3 «скопировал»

YAR ★★★★★
()

Симлинк не устроит? Я просто подумал раз уж все на одном диске...

observer ★★★
()
Ответ на: комментарий от Gordon01

Еще не факт, что подходит. Может нужны две независимые копии.

observer ★★★
()
Ответ на: комментарий от bhfq

fsutil hardlink create

хотя конечно чтобы реально ими пользоваться нужен фронтенд )

Gordon01 ★★
()
Ответ на: комментарий от stevejobs

может, есть специальные ФС для работы с мелкими файлами?

Купи побольше оперативки и храни файлы в ней, ну и с бекапом на диск (я без бекапа храню).
Быстро и чрезвычайно удобно.

Хотя вообще можно по идее купить оперативку, а потом правильно настроить кэш.

winddos ★★★
()
Ответ на: комментарий от winddos

Наверняка есть штатные средства, чтобы определенный раздел или директорию почти постоянно держать в памяти.
Т.к тогда это было бы ещё и надежнее чем tmpfs, но мне это не очень нужно.

winddos ★★★
()
Ответ на: комментарий от stevejobs

может, есть специальные ФС для работы с мелкими файлами?

Проблемы с очень долгим удалением множества файлов я встречал в ext3/4, на рэйзерФС удаляется мгновенно. Специально даже тест проводил, создавал около полумиллиона файлов в одном каталоге и удалял их. А скорость добавления файлов, кстати, у ext4 и raiserFS оказалась одинаковой, правда я создавал последовательно файлы с именами 1, 2, 3,.. не знаю, сказалось ли это как на производительности.

staseg ★★★★★
()

Попробуй btrfs, там copy-on-write, то есть тела файлов копироваться не будут до тех пор, пока ты эти файлы не начнешь править. Теоретически.

anonymous
()
tar -cf - -C SOURCE/ | tar -xf - -C TARGET
drBatty ★★
()
Ответ на: комментарий от Gordon01

Gordon01

Даже в ШИНДОШС ЭТО ЕСТЬ! Называется ХАРДЛИНК.

хардлинк не очень повысит скорость копирования множества мелких файлов. И это не копирование. И каталоги не получается. И только на одной ФС.

drBatty ★★
()
Ответ на: комментарий от stevejobs

может, есть специальные ФС для работы с мелкими файлами?

reiserfs неплохо справляется

annulen ★★★★★
()
Ответ на: комментарий от ABW

а оно где-то отключено? врядли у ТС ядро 2.0 и соотв. версия e2fsprogs

anonymous
()
Ответ на: комментарий от stevejobs

специальные ФС для работы с мелкими файлами?

reiser. кэп.

mumpster ★★★★★
()
Ответ на: комментарий от YAR

гм. ну вот у меня / и /var на некоторых машинках - разнеы разделы, что не мешает им лежать на1 единсвтенном диске.:-)

mumpster ★★★★★
()
Ответ на: комментарий от mumpster

Ок, ок, пусть ТС уточняет, что он имел в виду )

YAR ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.