Как быстро заменить строку в миллионе файлов .php?

Идеальный вариант - это всё затарить

Это не вариант, это тупняк. Для тех кто в танке - проблема с поиском файлов _в первый раз_, а не с доступом. Вариант с затариванием будет не быстрее, а медленнее, т.к. тратится время на тар и разтар обратно.

Аргументы -exec заканчиваются «\;»

Когда над множеством файлов нужно одновременно произвести однотипную операцию, exec лучше завершать «+» — так все найденные файлы будут переданы одним пулом. Только нужно следить, чтобы количество аргументов не вылезло за ограничения.

Очень много обсуждений, очень мало экспериментов. Все равно нельзя заранее сказать что окажется быстрее, сколько людей, столько и мнений. Запустить десяток разных вариантов по тысяче файлов, сравнить время и выбрать лучший.

Оно вроде как за всем следит само как xargs. Правда с пробелами в путях проблема, так что лучше использовать xargs. Вообще удивительно насколько этот -exec бесполезен из-за пробелов.

find -delete жэ

Миллион файлов - это очень мало.

Файлы то большие хоть? Если меньше 64к - можно банально RecursiveDirectoryIterator + file_get_contents + preg_replace, если счётчик реплейса ненулевой - file_put_contents. Скрипт в десять строчек максимум, даже с учётом контроля ошибок.

Всем большое спасибо за участие! Вот эта команда успешно справляется с задачей:

find -type f -name '*.php' -print0 | xargs -0 -P 8 sed -i -- 's/foo/bar/g'

Вот эта команда успешно справляется с задачей:

Если: a) строка замены не длиннее исходной и б) файлы поместятся в память, то я такое решаю простенькой утилиткой, написал ради прикола за несколько минут: mmap-им файл, ищем в памяти исходную строку, заменяем, если строка короче, то ещё надо memmove. Быстрее сделать невозможно.

Правда с пробелами в путях проблема

Какая проблема?

Вот эта команда успешно справляется с задачей

Просто ради интереса, за какое время оно раздуплилось?

Шло несколько часов, думаю часа 4, самое точное время не засек. Буду еще тестить дальше - отпишусь. Очень круто, что это решение в итоге сработало.

Есть сайт с кучей абсолютных путей в файлах php, tpl и пр. Делаю так:

find -type f -name \*.tpl -exec sed -i -r «s|'\/var\/www\/site.ru\/www\/|$_SERVER['DOCUMENT_ROOT'].'\/|g» {} \;

php include(['DOCUMENT_ROOT'].'/compare/optprice.php')

Забрал, спасибо :)

Помучавшись какое-то время нашел решение. Надо было так

find -type f -name \*.* -exec sed -i -r 's|"\/var\/www\/site.ru\/www\/|$\_SERVER['DOCUMENT_ROOT']."\/|g' {} \;

Что-то похожее делал. На 10000 сишных файлах отрабатывает за минуту в 4 потока. При этом где-то 20% от 100% процессорного времени занято ядром. Но я скармливал по 5 файлов (xargs -n 5). Так же пробовал питон с компилированым регекспом для замены, справляется примерно за тоже время в один поток. Но проще работать с седом, чем заботиться о недопущении тепловой сметри вселенной. И это было давно и неправда.