Регэксп

http://rubular.com/r/diQvsNTWQB

гуглил перед этим подобный сервис) спасибо, то есть в итоге должно быть:

/\[CDATA\[(.*)<!--more-->/m

?

\[CDATA\[(.*)<!--more-->

~$ echo '[CDATA[foo<!--more-->' | sed -E 's/\[CDATA\[(.*)<!--more-->/\1/'
foo

Точнее

http://rubular.com/r/QD8iLSKvU6

\[CDATA\[(.*?)<!--more-->

работает! спасибо, сейчас седом попробую сразу 300 мб обработать

Почему ещё никто не вбросил пасту про XML и регэкспы?

Флаг /m нужен, чтобы оно многострочные выражения обрабатывало. В разных языках он по разному передается, например в питоне вот так:

re.findall('\[CDATA\[(.*?)<!--more-->',a, re.DOTALL)

А вот как с этим в sed - я не знаю.

sed -E 's/\[CDATA\[(.*)<!--more-->/\1/' wordpress.2015-11-26\ \(1\).xml > 001.xml

а что за единица в конце? нужно поменять так, чтобы удалить всё после [CDATA\[

включая more

Для читаемости разобью sed-скрипт на строки:

s #найти и заменить
\[CDATA\[(.*)<!--more-->/ #регулярка которую нужно искать
\1 #чем заменить

Не правильно сработает в случае >1 вхождения <!--more-->, sed жадный

Раз уж на то пошло, костыль на перле:

cat log-file-name | perl -e 'while(<>){s/(\[CDATA\[).*?<!--more-->/\1/g;print};'

всё сработало как надо, по крайней мере визуально)

sed -E 's/\[CDATA\[(.*)<!--more-->/\[CDATA\[/' wordpress.2015-11-26.xml > final03.xml

Похоже, никогда не переведутся любители парсить XML регекспами...
Используй инструменты, предназначенные для работы с XML, а не с текстом.

и какие же это инструменты?

никогда не переведутся любители парсить XML регекспами

Как и любители ограничивать себя в инструментарии

А где в словах «[CDATA[» находится xml? Даже если распарсить файл, то в строках нужен будет все тот же регэксп (если не принимать во внимание то, что комменты more могут вообще не попасть в результат).

Парсинг XML средствами для плейн текста оправдан лишь в случае, когда быстрое решение нужно для частного случая и обобщать некогда/дорого.
Вот только результатом такого подхода чаще всего является не работающее решение, а подобные топики о встреченных граблях.

ну прям, никаких вообще

Сколько лет пытаюсь понять регулярные выражения – ничего у меня не выходит, мозг кипит.

почитай Фридла и все станет понятно

Сколько лет пытаюсь понять регулярные выражения – ничего у меня не выходит, мозг кипит.

Странно, обычно хватает странички в википедии.