LINUX.ORG.RU

Сообщения Sintetik

 

sed не работает с большими файлами

Здравствуйте Столкнулся с проблемой что sed не отрабатывает на файле размером от 2 гигабайт, на части этого файла отрабатывает. Не отрабатывает это значит что-то делает, ошибок нет, но файл не меняется.

Нужно убрать из файла все что в фигурных скобках и сами скобки вот это работает как надо sed -i ‘:again;$!N;$!b again; s/{[^}]*}//g’

но только на файлах меньше 2гб

нужен аналог без написания своих программ только стандартные утилиты

в прошлы раз при похожей проблеме спасла команда tr + mv

 

Sintetik
()

curl обрезает имя файла

запускаю команду curl «https:xxxxx» -o /xxx/xxxx/yyyyy.csv задаю имя явно, на выходе получаю файл в нужной папке но с именем YYYYY~1.CSV причем на одном сервере команда отрабатывается нормально, на другом с таким эффектом какие настройки шелла копать?

 , ,

Sintetik
()

Получить список файлов с FTP модифицированных позже заданной мною даты

Здравствуйте Нужно вытаскивать список файлов с FTP или каталога, задавая дату отсечения

я так понимаю что lftp -c 'connect .../ ; ls и sort' для каталога на диске просто ls и sort знаю как отсортировать по дате модификации, но как отбросить те файлы что модифицировались ранее нужной даты?

 , , ,

Sintetik
()

sed и замена символов в большом файле

Здравствуйте Столкнулся с проблемой что sed не отрабатывает на файле размером 15 гигабайт, на части этого файла отрабатывает. Не отрабатывает это значит что-то делает, ошибок нет, но файл не меняется.

задача была такая 1. заменить \n на ',' «концов строки» может быть несколько \n\n\n а запятая нужна одна, в самом конце запятая не нужна 2. в начале файла воткнуть 1 символ 3. в конец файла воткнуть 1 символ

в итоге файл с 111111 222222 333333

нужно было переделать в [11111,22222,33333] не меняя имени файла

нашел такие варианты(возможно не самые лучшие) sed -i -r ':a;N;$!ba;s/\n+/,/g' FILE; sed -i -e '1 s/^/[/;' FILE; echo «]» >> FILE

попробовал 1000 строк и 3 гигабайта и уже на этом объеме проблема, попробую найти размер с которого начинается проблема

 , , ,

Sintetik
()

RSS подписка на новые темы