LINUX.ORG.RU

Команда SED удаляющая текст между <script и </script>

 


0

2

Нужно удалить все скрипты со всем их содержимым, т.е. то что внутри тегов <script и </script> включительно с самими тегами из всех html файлов хранящихся в папке /home/www/

первый </script я написал так потому что там есть вариации:

<script> <script type=«application/ld+json»> <script type=«text/javascript» > ...

но все они заканчиваются </script>



Последнее исправление: Canapsis (всего исправлений: 1)

Ответ на: тест от Canapsis

но выдал ошибку

Либо поставь enca, либо удали из скрипта шаг перекодировки. Выбор за тобой.

PS: скрипт - это рецепт, используйте рецепт по собственному усмотрению.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)

You can't parse [X]HTML with regex. Because HTML can't be parsed by regex. Regex is not a tool that can be used to correctly parse HTML. As I have answered in HTML-and-regex questions here so many times before, the use of regex will not allow you to consume HTML. Regular expressions are a tool that is insufficiently sophisticated to understand the constructs employed by HTML. HTML is not a regular language and hence cannot be parsed by regular expressions. Regex queries are not equipped to break down HTML into its meaningful parts. so many times but it is not getting to me. Even enhanced irregular regular expressions as used by Perl are not up to the task of parsing HTML. You will never make me crack. HTML is a language of sufficient complexity that it cannot be parsed by regular expressions. Even Jon Skeet cannot parse HTML using regular expressions. Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. Parsing HTML with regex summons tainted souls into the realm of the living. HTML and regex go together like love, marriage, and ritual infanticide. The <center> cannot hold it is too late. The force of regex and HTML together in the same conceptual space will destroy your mind like so much watery putty. If you parse HTML with regex you are giving in to Them and their blasphemous ways which doom us all to inhuman toil for the One whose Name cannot be expressed in the Basic Multilingual Plane, he comes. HTML-plus-regexp will liquify the n​erves of the sentient whilst you observe, your psyche withering in the onslaught of horror. Rege̿̔̉x-based HTML parsers are the cancer that is killing StackOverflow it is too late it is too late we cannot be saved the trangession of a chi͡ld ensures regex will consume all living tissue (except for HTML which it cannot, as previously prophesied) dear lord help us how can anyone survive this scourge using regex to parse HTML has doomed humanity to an eternity of dread torture and security holes using regex as a tool to process HTML establishes a breach between this world and the dread realm of c͒ͪo͛ͫrrupt entities (like SGML entities, but more corrupt) a mere glimpse of the world of reg​ex parsers for HTML will ins​tantly transport a programmer's consciousness into a world of ceaseless screaming, he comes, the pestilent slithy regex-infection wil​l devour your HT​ML parser, application and existence for all time like Visual Basic only worse he comes he comes do not fi​ght he com̡e̶s, ̕h̵i​s un̨ho͞ly radiańcé destro҉ying all enli̍̈́̂̈́ghtenment, HTML tags lea͠ki̧n͘g fr̶ǫm ̡yo​͟ur eye͢s̸ ̛l̕ik͏e liq​uid pain, the song of re̸gular exp​ression parsing will exti​nguish the voices of mor​tal man from the sp​here I can see it can you see ̲͚̖͔̙î̩́t̲͎̩̱͔́̋̀ it is beautiful t​he final snuffing of the lie​s of Man ALL IS LOŚ͖̩͇̗̪̏̈́T ALL I​S LOST the pon̷y he comes he c̶̮omes he comes the ich​or permeates all MY FACE MY FACE ᵒh god no NO NOO̼O​O NΘ stop the an​*̶͑̾̾​̅ͫ͏̙̤g͇̫͛͆̾ͫ̑͆l͖͉̗̩̳̟̍ͫͥͨe̠̅s ͎a̧͈͖r̽̾̈́͒͑e n​ot rè̑ͧ̌aͨl̘̝̙̃ͤ͂̾̆ ZA̡͊͠͝LGΌ ISͮ̂҉̯͈͕̹̘̱ TO͇̹̺ͅƝ̴ȳ̳ TH̘Ë͖́̉ ͠P̯͍̭O̚​N̐Y̡ H̸̡̪̯ͨ͊̽̅̾̎Ȩ̬̩̾͛ͪ̈́̀́͘ ̶̧̨̱̹̭̯ͧ̾ͬC̷̙̲̝͖ͭ̏ͥͮ͟Oͮ͏̮̪̝͍M̲̖͊̒ͪͩͬ̚̚͜Ȇ̴̟̟͙̞ͩ͌͝S̨̥̫͎̭ͯ̿̔̀ͅ

PPP328 ★★★★★
()
Ответ на: комментарий от Deleted

для меня проще заархивировать, перенести на комп, разархивировать, создать регулярку в zennoposter, шлифануть notepad++, заархивировать, качнуть на сервак, распаковать

Canapsis
() автор топика
Ответ на: комментарий от PPP328

Спокойно, Маша, я Дубровский.
Заведомо известный и заведомо корректный HTML парсить регекспами можно, инфа сотка

zolden ★★★★★
()
Ответ на: комментарий от Canapsis

Команда SED удаляющая текст между <script и </script>

для меня проще...

Батенька, Вы о чём???

Deleted
()
Ответ на: комментарий от Canapsis

С таким набором инструментов пляшите от :

<\s*script(?!.*?<\s*script).*?</script>

Регулярку загнать в цикл до тех пор пора кол-во срабатываний не станет == 0.

Все это можно сделать только при помощи notepad++, через массовые операции над файлами.

Deleted
()
Последнее исправление: Rainor (всего исправлений: 1)

Схема такая:

  • Замена \n на что-то
  • Не жадная (not greedy) замена <script.*</script> на пустую строку (use perl sed не умеет not greedy match).
  • Обратная замена чего-то на \n
  • Запись в $filename.new
  • Бекап старого файла, переименование нового файла.
crutch_master ★★★★★
()
Последнее исправление: crutch_master (всего исправлений: 2)
Ответ на: комментарий от Canapsis

шлифануть notepad++

Каждый файл руками? Ты чо, секретарша?

crutch_master ★★★★★
()
Ответ на: комментарий от crutch_master

бекап надо делать вообще ДО всего и желательно в другой каталог. По собственному опыту скажу что не туда поставленный пробел успешно сносит все в локальном каталоге

PPP328 ★★★★★
()
Ответ на: комментарий от RazrFalcon

Сам репозиторий нужно снести.

Не соответствует политике github.com

К тому же нет никакого «РЕПОЗИТОРИЯ», только небольшой скрипт.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от PPP328

Ну да, лучше тогда до манипуляций, разницы никакой. Можно еще в гит всё загнать предварительно.

crutch_master ★★★★★
()
28 августа 2018 г.
Ответ на: комментарий от Deleted

А как это будет работать если в тексте javascript который помещен между тегами <script></script> в кавычках будет стоять текст, содержащий тег <script>?

anonymous
()

links -dump

anonymous
()
Ответ на: комментарий от crutch_master

Не жадная (not greedy) замена <script.*</script> на пустую строку (use perl sed не умеет not greedy match).

Ну если не надо вхождение патерна «<[:space:]*sscript[:space:]*>» внутри него же, то и на sed не так уж сложно. Всего вот пару часов убил:

#!/usr/bin/env bash

if [[ $# -eq 0 ]]; then
	echo "Вызов $(basename "$0") файлы..." >&2
	exit 2
fi

R=0 # exit code
TMP=$(mktemp)
NL=$'\r'; CR=$'\n'; SPo=$' \t\f\v'
# в скрипте делается замена CR на NL, потому в пробельных символах только NL
SP="[${SPo}${NL}]*"
SCRIPT="[Ss][Cc][Rr][Ii][Pp][Tt]"

for FILE ; do
  # удаляем NL, заменяем CR на NL
  tr -d "$NL" < "$FILE" | tr "$CR" "$NL" > $TMP
  if [[ ${PIPESTATUS[0]} -ne 0 || ${PIPESTATUS[1]} -ne 0 ]]; then
	R=1
	continue
  fi

  # поиск двух неиспользуемых в тексте символов
  # в диапазоне [1..31] кроме CR и NL
  F= ; S=
  for i in {1..31} ; do
	  printf -v hi '\\x%02x' $i
	  printf -v c "$hi"
	  [[ "$c" = "$NL" || "$c" = "$CR"  ]] && continue
	  if ! grep -q "$c" $TMP ; then
		  if [[ -z "$F" ]]; then
			  F=$c
		  else
			  S=$c
			  break
		  fi
	  fi
  done
  if [[ -z "$S" ]]; then
	  echo "Не найдено два неиспользованных символа в диапазоне [1-31] в файле $FILE" >&2
	  exit 1
  fi

  # помечаем маркерами, вырезаем и восстанавливаем CR
  sed -r "s/<${SP}${SCRIPT}[^A-Za-z0-9]/$F/g;\
	  s/<\\/${SP}${SCRIPT}${SP}>/$S/g;\
	  s/$F[^$F]*$S//g; s/$NL/\n/g" < $TMP > "$FILE" || R=1
done
rm -f $TMP
exit $R

vodz ★★★★★
()
Ответ на: комментарий от zolden

Но для заранее известного и завеодом корректного HTML можно просто сразу выводить требуемый результат, без регулярок и грамматик.

aedeph_ ★★
()
Ответ на: комментарий от crutch_master

Вместо того, чтобы просто сделать *? вместо *

Во-первых, я реализовал вашу «схему». Но таки на sed, к чему и был квотинг в том комментарии.

UPD: а ну да, таки без бекапа...

vodz ★★★★★
()
Последнее исправление: vodz (всего исправлений: 2)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.