LINUX.ORG.RU

Скажем дружно... «Нет» рекламе!

 , , , , блок рекламы


3

2

Не так давно в буквальном смысле помешался на ADS-блокировке. Варианты были простые: 1) файл hosts 2) настройка браузера. 3) «1+2». Естесственно, был выбран третий - всю рекламу в браузер не пропишешь, а файл hosts не «понимает» масок, которые я так люблю писать в браузер. И теперь, собственно, сабж...

Поиск «HOSTS» дал слишком много разных результатов и возникла необходимость красивого и элегантного решения вот такой задачи: как слить несколько hosts-файлов в один, все строки которого будут: а) уникальны б) сортированы по алфавиту (для удобства поиска) и в) сохранено разделение и комментарии, а так же г) «родной» заголовок.

С заголовком понятно, сбор уникальных строк можно реализовать утилитой comm или uniq, а вот как при этом сделать сортировку (ведь foo и www.foo - это разные строки), да ещё и сделать комментированое разделение по буквам алфавита?

Целью данного сабжа является создание скрипта, который будет получать hosts-файлы из разных источников и по ним самостоятельно собирать готовый блокировщик принудительного спама. К тому же хочется обойтись минимальным набором примитивных утилит, доступных в любой из сборок *nix - тогда конечный скрипт будет практически независим от среды и сможет приносить реальную пользу. Заранее извиняюсь (за свой альтруизм) за поднятие столь тривиальной задачи, но после 10-ти установленных систем хочется как-то автоматизировать задачу (а то рекламщики как грибы после дождя нарождаются и списки быстро теряют актуальность). Если эта тема уже поднималась (автоматизация сбора HOSTS-файла и поддержание его в актуальном состоянии) - прошу давать ссылки, делиться решениями и просто опытом. Надеюсь на понимание и содействие.

★★

На андроиде использую AdAway. Она качает несколько файликов hosts и склеивает. На десктопе хватает Adblock+.

Lavos ★★★★★
()

Тем, что я терпеть не могу лисиц. У меня на них аллергия, как на IE!

А пишешь из него вполне спокойно.

По сабжу - эдблок есть почти в любом браузере. Если его там нет - браузер не нужен.

tazhate ★★★★★
()
Ответ на: комментарий от vurdalak

Я пользуюсь Opera. У неё очень мощный фильтр, не отрицаю, но речь не о том, как его использовать, а «как не использовать». То, что фокс можно обвешать дополнениями и расширениями - для меня так же не секрет, но речь не о браузерах, а о фильтрации URL ВООБЩЕ. Общесистемно. Существуют и другие браузеры, названия которых не очень широко известны, которыми не так много людей пользуются, и у которых URL-фильтража нет как такового.

zzdnx ★★
() автор топика
Ответ на: комментарий от tazhate

А пишешь из него вполне спокойно.

Уж простите, систему только что поставил. Оперу ещё не скачал. А по факту - меня не только браузеры интересуют, а создание гибкой системы контроля обращений в сеть. Без всяких прокси с чёрными списками (они воистину огромны).

zzdnx ★★
() автор топика
Ответ на: комментарий от Deleted

Режь с помощь прокси.

Идея на 5 баллов, КЭП. Сам как-то до этого додумался, но потом отмёл эту идею - контроль должен быть ПРОЩЕ. Не нужна никакая прокся, не нужен модуль блокировки встарваемый в браузер... Нужен толковый скрипт генерации текстового файла. Куда уж проще?

zzdnx ★★
() автор топика
Ответ на: комментарий от zzdnx

Я понял, идея правильная. Можно попробовать посмотреть, откуда адблок тянет фильтры, и вручную делать то же.

vurdalak ★★★★★
()
Ответ на: комментарий от tazhate

firewall

Очень хорошая идея. Но для консольной обработки не очень подходит (в основном не из-за сложности команд, а из-за невозможности установки на некоторые слабые устройства мощных файволлов).

zzdnx ★★
() автор топика

ЯННП. Тебе список адресов для блокировки нужен? На.

Dragon59 ★★
()
Ответ на: комментарий от vurdalak

Вайршарком выцеплял. Адреса есть. Их много. Повпрос не в «откуда брать», а «как слепить»? Меня именно это интересует. Файлы есть - почти чёрная база данных... Дело за малым - примитивными инструментами обработать до вменяемого вида.

zzdnx ★★
() автор топика
Ответ на: комментарий от zzdnx

фильтрации URL ВООБЩЕ.

ты глуп и не понимаешь, что одной фильтрацией URL не обойтись. Для хорошей баннерорезалки еще обязательны куча XPath-based правил. А это может сделать только браузер. И кстати, для оперной блокер умеет работать с листами от adblock+, лично натсраивал.

JFreeM ★★★☆
()
Ответ на: комментарий от zzdnx

У тебя неправильное понимание принципа «делай проще». У него есть одно НО — простое должно нормально работать. В твоем случае работать ничего ничерта не будет.

Deleted
()
Ответ на: комментарий от zzdnx

тред не читай@сразу отвечай

товарисч, есть возможность пользовать оперо вский встроенньій блок и списки адблока. гуглите

ZuBB ★★★★★
()
Ответ на: комментарий от JFreeM

JFreeM

Да, глуп, и не отрицаю этого. Но даже моих мозгов достаточно, чтобы понимать топорность отсечки по прямым URL. Очень прошу ВНИМАТЕЛЬНО прочитать мой сабж - я использую и браузер и файл hosts. И моя цель - не блок рекламы в конкретном браузере на конкретной ОС - на эту тему мануалов ПОЛНО по всем сайтам. Моя цель - скрипт, собирающий наиболее полную и актуальную редакцию для hosts-файла. Такой скрипт, который будет безошибочно работать в таких системах, как роутер, телевизор, ресивер и прочая техника.

zzdnx ★★
() автор топика
Ответ на: комментарий от Polugnom

Polugnom, Links, да, знаю, но не использую.

Слепить прокси, прозрачным на 80 порту.

внутри ресивера/телевизора с никсами - офигенно шустро работать будет!

man paste - изучим...

zzdnx ★★
() автор топика

dnsmasq.conf
# Configuration file for dnsmasq.
# Add domains which you want to force to an IP address here.
# The example below send any host in double-click.net to a local
# web-server.
#address=/double-click.net/127.0.0.1
address=/adfox.ru/127.0.0.1
address=/vk.com/127.0.0.1

Режет все,что не режет ablock - запросы из скриптов итп итд

serg10etomarkov
()
Ответ на: firewall от zzdnx

в основном не из-за сложности команд, а из-за невозможности установки на некоторые слабые устройства мощных файволлов).

бред.

tazhate ★★★★★
()
Ответ на: СПАСИБО! от zzdnx

Вот что у самого в нем


address=/an.yandex.ru/127.0.0.1
address=/adfox.ru/127.0.0.1
address=/vk.com/127.0.0.1
address=/luxup.ru/127.0.0.1
address=/rambler.ru/127.0.0.1
address=/apis.google.com/127.0.0.1
address=/cdn.api.twitter.com/127.0.0.1
address=/feeds.delicious.com/127.0.0.1
address=/api.ak.facebook.com/127.0.0.1
address=/kontera.com/127.0.0.1
address=/googleadservices.com/127.0.0.1
address=/adriver.ru/127.0.0.1
address=/adru.net/127.0.0.1
address=/vkontakte.ru/127.0.0.1
address=/www.tns-counter.ru/127.0.0.1
address=/gravatar.com/127.0.0.1
address=/mc.yandex.ru/127.0.0.1
address=/google-analytics.com/127.0.0.1
address=/platform.twitter.com/127.0.0.1
address=/yadro.ru/127.0.0.1
address=/begun.ru/127.0.0.1
address=/googlesyndication.com/127.0.0.1
address=/redtram.com/127.0.0.1
address=/redtram.ru/127.0.0.1
address=/marketgid.com/127.0.0.1
address=/rl0.ru/127.0.0.1
address=/doubleclick.net/127.0.0.1
address=/novoteka.ru/127.0.0.1
address=/sj10.ru/127.0.0.1
address=/sj3.ru/127.0.0.1
address=/odnoklassniki.ru/127.0.0.1
address=/dt00.net/127.0.0.1
address=/24smi.org/127.0.0.1

serg10etomarkov
()
Ответ на: комментарий от tazhate

бред.

Нетбук с MeeGO на борту. Сносить ОС запрещено (на то свои причины). Установка программ невозможна (из графической среды всегда ошибка, а консольный менеджер удалён), установка дополнений для браузера - всегда завершается ошибкой, встроенного файрволла нет (удалён?), ssh/telnet - не работают, nano глючит и рассыпается в интерфейсе. Статически собраные программы после распаковки из tar.gz не запускаются. Wget и некоторые консольные утилиты работают (это часТный случай, и он не уникален). Как прикажете в ТАКИХ условия выкручиваться?

zzdnx ★★
() автор топика
Ответ на: комментарий от serg10etomarkov

Вот что у самого в нем

Запомню. Буду ковырять и в эту сторону. Туда можно прописывать часть имени/регулярное, или только прямой адрес, как в hosts?

zzdnx ★★
() автор топика
Ответ на: комментарий от serg10etomarkov

Уже больше года режу всю гадость вот такой связкой AdBlock with dnsmasq and pixelserv on tomato

Забанено:

# cat adblock.conf 
##
##-----------------------------------------
##    Generated by AdBlock script v1.0     
##    Grabbed on Thu Oct 11 05:59:10 DST 2012
##    40530 blocked hosts
##-----------------------------------------
##
address=/-orig.glam.com/.0zz0.com/.888movestuff.com/.beautyman.com/.betterbrainsneurofeedback.com/192.168.1.2
address=/.bicycling.com/.glam.com/.intel.com/.japaneseanime.com/.menshealth.com/192.168.1.2
address=/.paypopup.com/.prevention.com/.runnersworld.com/.runningtimes.com/.sitetracker.com/192.168.1.2
address=/.vzw.com/.womenshealthmag.com/.yesadvertising.com/.zapadserver1.com/0.datacollector.coin.scribol.com/192.168.1.2
(cut)
address=/zypern4u.de/zypzwnirtp.net/zyxyfy.com/zyyny.medicwing.ru/zyz.immingmedic.ru/192.168.1.2
address=/zz.cqcounter.com/zzadoctor.ru/zzav.earmedics.ru/zzcgebg.eeddoctor.ru/zzcs.rlymedics.ru/192.168.1.2
address=/zzgls.medicglide.ru/zzgxzy.rbedmedic.ru/zzvxyrkxygqrfgmr.waw.pl/zzz.clickbank.net/zzztech.com/192.168.1.2

И подключены в данный момент только

1,http://mirror1.malwaredomains.com/files/justdomains
1,http://securemecca.com/Downloads/hosts.txt
1,http://www.malwaredomainlist.com/hostslist/hosts.txt
1,http://sysctl.org/cameleon/hosts
1,http://winhelp2002.mvps.org/hosts.txt
1,http://www.hostsfile.org/Downloads/hosts.txt
1,http://www.securemecca.com/Downloads/hosts.txt

Если включить ВСЕ источники то в забане будет >> 250 000 хостов!

Сам скрипт adblock.sh и все остальное https://github.com/init6/dnsmasq-adblock… можно форкать, исправлять, дополнять и посылать патчи обратно мне :Р

Плюс dnsmasq в том что данный вид adblock-а никоим образом не зависим от браузера и наличия/отсуствия в нем резалки. До полного дзена не хватает только прозрачного прокси с вырезанием всего что может остаться… но на мой взгляд и так неплохо.

init_6 ★★★★★
()
Ответ на: комментарий от init_6

О, за Pixelserv thanks, хотел сделать что в этом духе, а тут уже готовое решение.
Но много источников будет тормозить и весь смысл баннерозки тогда пропадает, не ? Это как с многокилометровыми host, которые начинают дико тормозить

serg10etomarkov
()
Ответ на: Благодарю. от zzdnx

Уже занимаюсь изучением...

Лично мне в этом варианте не хватает ну разве что отдельных white black списков.

init_6 ★★★★★
()
Ответ на: комментарий от serg10etomarkov

О, за Pixelserv thanks, хотел сделать что в этом духе, а тут уже готовое решение.

ага оно в оригинале емнип перловый скрипт…

Но много источников будет тормозить и весь смысл баннерозки тогда пропадает, не ?

даже моя железка со всеми источниками и то не тормозит :Р разница не в этом… там реально нет ни гуглов ни мордокниг ни вконтактликов ни многих других ресурсов…

init_6 ★★★★★
()
Ответ на: комментарий от serg10etomarkov

...много источников будет тормозить и весь смысл баннерозки тогда пропадает, не ?

Это одна из причин по которой я изначально отказался от проксей и её чёрными списками на сотни мегабайт... Если описанная init_6 система встанет на роутер в деревне и не будет его тормозить - именно так и сделаю. Сразу уйдёт куча не нужного трафика!

zzdnx ★★
() автор топика
Ответ на: комментарий от init_6

Не, ну сам фейсбук я оставил, там знакомых много :-) Вырезает только его скриптовые кнопки и всякую статистику.

serg10etomarkov
()

Прочитав трэд я сделал вывод:
Из всех действенных способов, что есть - тебе ни один не подходит, потому что ты абсолютно не понимающий, в этом вопросе, человек, что высасывает проблемы и отрицания из холодного пальца.
Хорошо переобдумай тут всё, ответов дали уже достаточно.

Spirit_of_Stallman ★★★
()

А теперь подумай, на что должны жить создатели сайтов, которыми ты, между прочим, пользуешься абсолютно бесплатно. Ты хочешь пожинать плоды их трудов ничего при этом не отдавая в замен. Ты считаешь это нормальным?

anonymous
()
Ответ на: комментарий от zzdnx

между прочим в логах privoxy можно узнать о таких местах откуда тянется рекламка, о которых с адблоком и не узнаеш... Пользуюсь, доволен. Не такой и длинный у меня список.

nekosargot ★★★
()
Ответ на: комментарий от anonymous

2 anonymous (11.10.2012 20:04:56)

А теперь подумай, на что должны жить создатели сайтов, которыми ты, между прочим, пользуешься абсолютно бесплатно. Ты хочешь пожинать плоды их трудов ничего при этом не отдавая в замен. Ты считаешь это нормальным?

О, как давно я ЖДАЛ этого вопроса! Уж простите меня за прямоту... И написаное мной ни в коем случае не отражает мнения большинства. И так... ДА! И даже более того... Лично Я очень часто бываю на сайтах которые не известны по-настоящему широкой публике, создатели которых никогда не размещают на своём детище рекламу подобную usdе.ru и lеtitbit.nеt, и которым нет нужды себя пиарастить себя баннерами. Эти люди делают достаточно много РЕАЛЬНО ПОЛЕЗНОГО ДЛЯ ДРУГИХ, и размещают разве что реквизиты своих интернет-кошельков на страницах добровольных донейтов. И, как правило, посещаемости этих ресурсов едва-едва достаточно для оплаты своего существования. Таким ребятам я сам готов дарить деньги. Лично или переводом в кошелёк, а не посещаями ads-хренась.сом.

Спасибо за внимание. Теперь и я отвёл душу на создание всеобщего срача в коментариях и с этого момента могу считать себя не мЕньшим троллем, чем большинство комментировавших.

zzdnx ★★
() автор топика
Ответ на: 2 anonymous (11.10.2012 20:04:56) от zzdnx

Ну неужели из текста сабжа не понятно, что файрволлы, прокси и другие меры стандартной защиты от адс были рассмотрены ещё до задавания вопросов? Неужели так сложно прочитать и подумать перед тем, как отвечать на сабж? Видимо, большинсву охота троллить, а не пытаться понять суть проблемы другого пользователя.

zzdnx ★★
() автор топика
Ответ на: комментарий от zzdnx

Тема сабжа

Блин... Тема сабжа сводится к скрипту обработки текстовых файлов, а не проксям, файрволлам и адблокерам с фильтрацией URL. Почему нужно сразу подаваться в высокие материи тонкой настройки гениального софта, вместо прямого ответа на вопрос? Сам виноват... Вопрос задал с большой степенью свободы в выборе ответов.

Благодарю tazhate за понимание и терпение к моей групости, Dragon59 за ссылку. Отдельная благодарность serg10etomarkov и init_6 за реальное содействие.

zzdnx ★★
() автор топика
Ответ на: 2 anonymous (11.10.2012 20:04:56) от zzdnx

Однако, судя по степени твоей озабоченности проблемой, ты все еще продолжаешь посещать эти сайты, значит ты не способен обойтись без них. И ты почему-то считаешь, что имеешь право паразитировать на пользователях не отключивших рекламу, за счет которых эти ресурсы живут.

Но, так и быть, даю тебе шанс оправдаться. Просто скажи, сколько денег ты уже перевел создателям сайта linux.org.ru.

anonymous
()
Ответ на: комментарий от anonymous

Боже, как я люблю анонимусов!

С Вами всегда есть о чём потрепаться, особенно когда дело касается личных интересов и выгоды. Только мне не в чем оправдываться. У меня чисты совесть и футболка. Я очень часто ношу на себе адрес и имя этого ресурса, сам не редко являюсь его рекламой не смотря на то что этот ресурс и без меня популярен и широко известен. Простите, не оправдал надежд... XD

Ну что-ж, гулять, так гулять - оставлю тему в качестве кубрика. Троллитесь на здоровье.

zzdnx ★★
() автор топика
Ответ на: Боже, как я люблю анонимусов! от zzdnx

Ты уходишь от ответа. Что заставляет тебя ходить на сайты, которые, на твой взгляд, не заслуживают тех денег, которые они могли бы заработать на рекламе? Почему ты не можешь ограничиться узким списком «достойных» тебя сайтов?

anonymous
()

А что в hosts прописывается?

127.0.0.1 linux.org.ru

Так? И что, придётся ставить свой http-сервер, чтобы он отдавал тебе пустые страницы?

anonymous
()
Ответ на: комментарий от anonymous

По пунктам:

Что заставляет тебя ходить на сайты, которые, на твой взгляд, не заслуживают тех денег, которые они могли бы заработать на рекламе?

Работа. В поисках ценной информации приходится постоянно бродить по совершенно бесполезным закоулкам сети, где до 95% страницы является рекламой, а из оставшихся 5% свободного места: 4% - разметка и 0,99% - пустой трёп не по теме. И только 0,01% страницы, а иногда и мЕньший представляют реальный интерес.

Может, это Ваш рай? - Где за заход на страницу сайта лично Вы получаете 5 заходов только по рекламным баннерам? Для меня это не рай и не ад, а ежедневная работа. Хотите денег - создавайте не рекламный сайт со спамом и зашибайде денюжку сидя на пятой точке, а создавайте ПОЛЕЗНЫЕ ресурсы, сравнимые с LOR, или Вам это не под силу? Или Вам не нравится что кто-то из-за своих личных убеждений не хочет приносить Вам задарма копеечку? Помните - каждый тык моей мышки и клавиатуры то же стоит денег и времени. (Аццкый смэх: Муха-ха-ха-ха!)

Гости. ...которые так любят шататься неизвестно где сидя у меня дома за чашкой кофе/чая/виски, любят спрашивать почему я не пользуюсь антивирусом и приходят в состояние паники, видя в окошке браузера убогую копию «моего компьютера» с запущенным «он-лайн антивирусом» и горстью троянов, чеВРей и руткитов.

Простое желание посмотреть что ещё есть в сети, кроме торговых лавочек и рекламщиков. Этого достаточно?

Почему ты не можешь ограничиться узким списком «достойных» тебя сайтов?

Кто сказал «не могу»? В список постоянно посещаемых сайтов входит LOR, а сам список уместится одной колонкой на лист формата А8 шрифтом 14-го размера. Этот список формировался несколько лет, и не каждый ресурс способен там появиться. И вот чего я принципиально не хочу туда вписывать, так это рекламные домены. Если мне будет нужен товар - я сам найду его, оценю, приму решение и уж точно не буду о нём жалеть или кого-то обвинять в собственной глупости. Уж простите меня за свободу моей мылси и воли.

zzdnx ★★
() автор топика
Ответ на: По пунктам: от zzdnx

Остается только посочувствовать такой работе, где необходимым условием является посещение спамопомоек.

Хотите денег - создавайте не рекламный сайт со спамом и зашибайде денюжку сидя на пятой точке, а создавайте ПОЛЕЗНЫЕ ресурсы, сравнимые с LOR, или Вам это не под силу

Вот смотри: некто создает полезный ресурс. При этом, очевидно, необходимым условием полезности ресурса является его бесплатность и доступность для всех желающих.

Предположим, сайт получается действительно полезным, и, как следствие, набирает популярность. Поддержание работы популярного ресурса, как ты может быть догадываешься, весьма затратное дело. И тут, независимо от изначальных планов, автору приходится как-то решать эту проблему: либо ограничить каким-то образом доступ к сайту (что резко снизит его полезность), либо (сюрприз!) добавить пару баннеров, которые если и не окупят сайт целиком, то, по крайней мере, снизят нагрузку на автора, позволяя ему и дальше заниматься поддержкой такого замечательного ресурса. Если же вдруг сайт окупается, то у автора тем более появится стимул к развитию ресурса.

Если ты все еще не понял, вот тебе список полезных и популярных ресурсов, которыми ты можешь воспользоваться прямо сейчас, не в последнюю очередь благодаря рекламе, cовершенно бесплатно: ЛОР, Хабр, stackoverflow, Google, Яндекс, и еще тысячи и тысячи их.

Ты же позволяешь себе наплевать на авторов, и пользоваться результатами их трудов, не отдавая ничего в замен.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.