LINUX.ORG.RU
ФорумTalks

Один день из копроэкономики

 , ,


1

1

Процитирую сообщение, которое сегодня отправил клиенту. Комментарии излишни, наверное. И так всё ясно.


Взял только первые два числа от IP, в топе такие значения получаются:

   4903 42.81
   5446 40.79
   6473 142.147
   6831 42.187
   7347 84.37
   7564 207.241
   9946 65.21
  10110 20.171
  10678 47.246
  37377 8.217
  59520 202.76
  65096 43.173
 201283 216.73
 217590 146.174
 247401 66.249

Проанализировал принадлежность IP и user agent-ы.

66.249 - боты Google.

146.174 - имитирует органическую посещаемость, UA реальных браузеров. Вот только диапазон принадлежит HuaweiCloud.
Забанил весь диапазон IP.

216.73 - ClaudeBot, сегодня ранее уже заблокировал его.

43.173 - диапазон принадлежит компании https://ru.wikipedia.org/wiki/Tencent Все UA почти одинаковые, с небольшими вариациями. Основной UA этот:
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.6478.114 Safari/537.36
Забанил весь диапазон IP.

202.76 - имитирует органическую посещаемость, но диапазон принадлежит HuaweiCloud.
Забанил весь диапазон IP.

8.217 - UA: AliyunSecBot/Aliyun (AliyunSecBot@service.alibaba.com)
Забанил весь диапазон IP.

47.246 - имитирует органическую посещаемость. Все 10678 были вчера, сегодня обращений ноль. Диапазон адресов принадлежит Alibaba Cloud LLC
Забанил весь диапазон IP.

20.171 - GPTBot, сегодня ранее уже заблокировал его.

65.21 - AwarioBot, сегодня ранее уже заблокировал его.

207.241 - Бот сайта http://archive.org/
Его банить рука не поднялась, единственный полезный сервис на фоне этих наглых ботов китайских нейросеток. Да и нагрузки от него не много.


Отдельная проблема с ботами Гугла. Если взять статистику по поисковым ботам, то окажется, Google создаёт нагрузку в 20 выше, чем Yandex:

  10917 +http://www.bing.com/bingbot.htm
  12092 +http://www.apple.com/go/applebot
  12313 +http://yandex.com/bots
 249190 +http://www.google.com/bot.html

Возможно, Google тоже решил «выкачать весь интернет» для нейронок. И делает это под теми же самыми IP и UA, что и бот поисковой системы. Чтобы веб-мастер не мог просто взять и заблокировать его, если не хочет остаться без присутствия в поисковой выдаче.

★★★
Ответ на: комментарий от Iron_Bug

кстати, персеры легко вычисляются. они тащат страницу, не не тащат css и вот это всё, как нормальный юзерский клиент. так что их сразу видно. и тоже можно легко вычислять и банить. даже ещё проще, чем по количеству. чисто по логике запросов.

Так вот почему мне яндекс капчу постоянно суёт?! Уже 18 (3 раза по 6) картинок требует прокликать для допуска к себе. Плохой способ, css не грузят те кто не хочет засорять себе инет-канал. У меня например вся подобная статика кешируется и повторно не запрашивается, даже если веб-сервер кешрование запрещает.

firkax ★★★★★
()
Ответ на: комментарий от firkax

ты предлагаешь удвоить говнотрафик, но зачем? лучше вообще ни одного байта им не отдавать. и сетям будет легче, и таймауты ослабят бурную активность ботоферм.

плюс отдельная шизофрения - нагружать свой сервер говногенерацией. даже запуск подобных вещей на своём сервере уже вызывает вопросы к вменяемости. а тем более генерация вторичного паразитного трафика.

это фактически означает превращение в дебила в процессе борьбы с дебилами. я бы сильно не рекомендовала подобные унылые школоло-стратегии.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 2)
Ответ на: комментарий от cobold

Сетевой нейтралитет - в «мирное» время, а тут эти ИИ считай военную операцию против нормального интернета проводят, надо им отвечать.

firkax ★★★★★
()
Ответ на: комментарий от firkax

да, и по этой причине тоже. но чаще если ты лезешь не со своего статического айпишника, а из мусорных пулов всяких мобильных сетей. потому что оттуда валит всякий флуд - только в путь. поэтому админы придумывают способы часть флуда отсекать. и если бы х*яндекс сам при этом не был генератором флуда в сетях - можно было бы ещё понять. а так, это просто лицемерие получается.

Iron_Bug ★★★★★
()
Ответ на: комментарий от firkax

кому - им? ботам? ты собрался задидосить тупую дурмашину или что? за счёт затрат своих сил, кучи проца и засирания собственного сетевого канала? это вообще ненормально.

это тупое школотронство. логика типа: меня обидели, щаз пойду и под дверь им насру. это ни к чему не ведёт. ну, кроме собственного лузерства и потери времени и ресурсов.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 2)
Ответ на: комментарий от cobold

с сетевым нейтралитетом всё стало сложно. и даже не из-за сраного «ИИ», а по другим, уже политическим, причинам. люди хотят не только сети, но и жить. поэтому приходиться заниматься ограничениями доступа. хотя, по идее, это и неправильно. но зато безопасно для пользователей.

может, наступят другие времена, когда можно будет открывать доступ для всех. но я уже в это как-то не верю. всё зашло сильно глубоко в жопу, чтобы из этой жопы теперь можно было бы быстро и легко выбраться.

как вариант - разные формы альтернативных распределённых сетей, где адреса узлов и/или их юзеры анонимны. там ещё есть некоторая свобода выражения мнений и сетевой нейтралитет.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 1)
Ответ на: комментарий от Dimez

Ну банилку то надо аккуратно настраивать, типа если что-то долбится слишком много и не вот туда, то всё

no-dashi-v2 ★★★★
()
Ответ на: комментарий от firkax

нет, изначально тор создавался для обхода блокировок. начинание было весьма благим. и даркнеты создавались не для торговли наркотой. но реальность - это другое.

вот поэтому я и не пишу многие вещи, которые могла бы написать. я думаю на несколько шагов вперёд и понимаю, что изначально задуманный как хороший и полезный, многий софт может быть использован для вредительства в сети. и разумно не создавать такие инструменты. другой вопрос, существуют ли решения, которые будут только хорошими (одна сторона медали), - это очень философский вопрос. не знаю, можно ли сделать что-то такое, что будет только полезным.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 1)
Ответ на: комментарий от Iron_Bug

я бы сильно заинтересовалась «теорией безвредного сетевого софта», если бы таковая существовала. сетевой софт, который в прицнипе не может нанести вред и быть использован в любых целях против пользователя - это было бы круто.

но нет теоретической уверенности, что такую конструкцию в принципе можно создать.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 1)
Ответ на: комментарий от Iron_Bug

не, таких странных психов я видела в сети. но не думаю, что они могут создать сколько-нибудь существенный дидос. там нужно что-то помощнее, чем одна обиженная снежинка.

Да, нужна обиженная снежинка с деньгами. Существует куча сервисов, предоставляющих услуги DDoS’а, и стоит это не то чтобы очень много для целеустремлённого дегенерата (что показывает практика и частота). Час реально мощного DDoS’а (кладёт практически всё, кроме CloudFlare) стоит десятки долларов США. Да, это косарь за пару-тройку суток. Но они могут, во-первых, ддосить не сутками напролёт, а наскоками, во-вторых, за реально долгие атаки может быть и дешевле (опт типа), ну и в третьих, дебилы, у которых имеется этот косарь в неделю, существуют, как бы сложно в это ни было поверить. В основном сейчас DDoS делается такими сервисами — скрипт-кидди с небольшими ботнетами уходят в прошлое.

CrX ★★★★★
()
Ответ на: комментарий от ugoday

Кстати, по этому поводу недавно было исследование с довольно занятными результатами («отравление» языковой модели успешно осуществляется гораздо меньшими усилиями, чем мне казалось) https://arxiv.org/pdf/2510.07192

CrX ★★★★★
()
Ответ на: комментарий от CrX

не, дураков с деньгами я видела. но дураки с деньгами тратят деньги не на это. они вообще чаще не лазат по всяким бесплатным форумам, а больше интересуются тачками и бабами.

Iron_Bug ★★★★★
()
Ответ на: комментарий от usi_svobodi

так можно же очень долго вообще не отвечать. и пусть себе ждут. что я и предлагаю. и никаких затрат со своей стороны не требуется.

Iron_Bug ★★★★★
()
Ответ на: комментарий от CrX

а зачем что-то отравлять? оно и так уже отравлено изначально. хлам из сети - это просто хлам из сети. неважно, когда ты сделал выборку: вчера, сегодня или завтра. а с отравлением контента дурмашины справляются самостоятельно, причём превосходно: они засирают сети, а потом съедают эту «шоколадку» во второй, в третий и более раз.

Iron_Bug ★★★★★
()
Ответ на: комментарий от firkax

я думаю, что сейчас к сетевому софту надо подходить с позиций «недоверенный сервер» плюс «нестабильные сети». как-то так. такие методы проектирования софта и сетей есть. они имеют определённый оверхед, но, видимо, других вариантов просто уже не осталось. и вряд ли мир вернётся обратно к вменяемости. поэтому надо адаптировать софт под реалии агрессивного окружения.

Iron_Bug ★★★★★
()
Ответ на: комментарий от Iron_Bug

ну, отвалится по таймауту и через какое-то время попробует снова. для таких вещей уже давно придуман и куда более эффективен TARPIT из xtables-addons.

alegz ★★★★★
()
Ответ на: комментарий от alegz

так он потратит время. и общее количество сгенерённого говнософтом флуда в час будет меньше. а смысл в том, чтобы избавить сети от флуда, а не умножать его.

при этом, заметь, ресурсы твоего сервера вообще не тратятся. что важно. потому что избавление от флуда имеет ровно одну цель: снизить нагрузку на сервер. и не надо о ней забывать, ударяясь в какие-то школотронские вредительские приблуды, которые не решают проблему, а лишь усугубляют её.

впрочем, можно редиректить их на другие такие же говносервисы, чтобы они сами друг друга дидосили, например. но это надо заморачиваться.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 3)
Ответ на: комментарий от CrX

я вижу это как-то так: сеть просто поделится на узлы, которые не пускают к себе говносети всяких «ИИ», и тот шлак, который нагенерили они сами. и дальнейшее их отравление будет происходить совершенно естественным образом, за счёт их же ресурсов, без необходимости что-то там делать. нужно просто их банить - и всё. дальше они справятся сами.

минусом такой сети будет полное отсутствие поиска в глобальной сети. потому что поисковики отделить от «ИИ» невозможно, но они уже даже и физически слились в одно целое, так что и нет никакого деления. поэтому останутся только локальные поиски по конкретным сайтам, после верификации юзера.

ну а дальше уже бабло будет побеждать зло. коммерсы, поняв, что юзеры свалили в параллельный мир, перестанут башлять поисковикам и «ИИ» за проталкивание контента, потому что это не будет повышать продажи. и что-то будет меняться. правда, неясно, в какую сторону. но будет. это маятник, он в какой-то момент должен пойти в обратную сторону.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 2)
Ответ на: комментарий от alegz

и также отвалится по таймауту. просто дешевле для сервера. а с медленными ответами еще и «экскурсию» устроить можно. пускай сканирует.

usi_svobodi
()
Ответ на: комментарий от wandrien

не так давно выступал за быстрый интернет и обещал пессимизировать сайты с плохой отзывчивостью

Кстати да. Я там даже маленькие странички на jquery пересобачивать вынужден был. А теперь такое.

Реальность круче, чем любой сюр. А может, это просто трип, все кажется, и ничего этого вокруг меня нету…

James_Holden ★★★★★
()
Ответ на: комментарий от ugoday

на основе цепей Маркова и текстов Гегеля

Зачем такие сложности, когда в php есть функция shuffle. Ну Гегель нужен, да. И PHP.

James_Holden ★★★★★
()
Ответ на: комментарий от Iron_Bug

есть ещё одна идея: сделать универсальный верификатор человеков. чтобы юзер, пройдя какие-то тесты на неком сайте авторизации, получал тикет. ну, не юзер, а браузер. и дальше с этим тикетом, как с сертификатом, юзер может посещать все ресурсы, которые доверяют этому авторизационному серверу. по принципу, как CA и сертификаты серверов. только тикеты-«сертификаты» будут временными. скажем, пару дней. и, например, если тикет протух, то тебя перенаправляют на сайт для получения нового тикета. а так просто в фоне происходит проверка тикета юзера и появляется доступ к человеческому контенту, а не к заглушкам для ботов. и чтобы была обратная связь: чтобы любой сервер мог пожаловаться, что такой-то тикет - это бот. таким образом, отслеживание ботов нужно будет только на одном авторизационном сервере (физически это может быть кластер) и там же будет централизованное отслеживание ботов. что упростит задачу их выявления и блокировки.

правда, появится проблема компрометации тикетов подставными сайтами. но и она решаема, если подумать.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 2)

Красиво клирнет разваливается. Надо завязывать с попкорном, так и до диабета недалеко...

piyavking ★★★★★
()
Ответ на: комментарий от usi_svobodi

так ты ответами засоряешь сети. а можно вообще ничего не отвечать и не засорять. всяко меньше трафика будет.

Iron_Bug ★★★★★
()
Ответ на: комментарий от James_Holden

а зачем ты в угоду какому-то дяде заговняешь собственный контент? если вестись на поводу у копрорастов и идиотов, ничего хорошего не получится.

Iron_Bug ★★★★★
()
Ответ на: комментарий от CrX

Одна из функций модели трансформера - разметка текста. Поэтому, ничего не мешает им автоматически отсеивать генерированный бред перед подачей в обучалку, при помощи уже существующих языковых моделей.

Все, точка невозврата пройдена, если серьезно, то нет смысла засорять и так на ладан дышащую сеть. Это ничего не даст, кроме приближения тепловой смерти вселенной интернетика.

James_Holden ★★★★★
()
Последнее исправление: James_Holden (всего исправлений: 1)
Ответ на: комментарий от Iron_Bug

Я шучу, если серьезно, то конечно нет смысла так делать, это полная глупость.

James_Holden ★★★★★
()
Ответ на: комментарий от Iron_Bug

Видел в айтупишечке на одной борде что-то подобное: юзера направляют на страницу, на странице два поля, одно с хэшэм, второе пустое, кнопка, и линк на питон-скрип. Юзер его качает-запускает с $1=хэш_со_страницы, скрип этот хэш грамотно жуёт, выплёвывает 6 (или 8, не помню точно) цифр, эти цифры юзер вбивает в нижнее поле, блямкает по кнопке и забывает в дальнейшем о капчах и прочем, на всех досках ему зелёная волна. И да, оно тухнет за несколько дней, но есть ненапряжная форма освежения. Линк нада?

piyavking ★★★★★
()
Ответ на: комментарий от Iron_Bug

нет, изначально тор создавался для обхода блокировок. начинание было весьма благим

Каким ещё благим? Кто-то поставил блокировку, он не хочет чтобы ты посещала сайт. Возможно, её поставил даже сам владелец сайта, который не рад тебя у себя видеть. Но ты всё равно лезешь - это и есть вредительство в чистом виде, для которого и был сделан тор. Очевидно, следующий шаг после этого будет бан всего тора, или по крайней мере жёсткое ограничение возможностей юзеров которые из него вылезли.

firkax ★★★★★
()
Ответ на: комментарий от piyavking

нет, пистон точно не нужен, прямо десятикратно. и запуск чего попало из сети на компе юзера - это ну прямо вообще зашквар.

я просто рассуждаю о возможных вариантах решения задачи. вопрос не в одной борде, а в каком-то универсальном сервисе, который бы служил подобным задачам. чтобы многие сайты могли по одному тикету давать зелёный свет на обработку запросов браузера.

конечно, этот метод не лишён минусов. но это лучше, чем на каждом сайте городить капчу или сдавать координаты копрорастам вроде клаудфлари, которые следят за юзерами. отдать тикет браузеру - это не слежка.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 2)
Ответ на: комментарий от Iron_Bug

Так гуглокапча работает. Но она не нужна, и то что ты пишешь тоже не нужно т.к. порождает центры зарождения монополий.

firkax ★★★★★
()
Ответ на: комментарий от Iron_Bug

ну отвалится он по стандартному таймауту (ну если прям на коленке сделан) через 30 сек и пойдет дальше нюхать. а так ты ему раз в 25 сек отвечаешь «ОК» и даешь 2 стула.

usi_svobodi
()
Ответ на: комментарий от Iron_Bug

Так а вообще, tls же вроде имеет и механизм сертификатов для клиента, а не только для сервера. Надо только создать инфраструктуру по верификации что не верблюд, и их выдачи.

James_Holden ★★★★★
()
Ответ на: комментарий от James_Holden

ну, это не только роскомпозор, таких желающих заниматься цензурой немало. и да, ровно против них и создавался тор. и сейсас он позволяет обходить эти ограничения для миллионов людей по всему миру. поэтому это важно. однако, проблема ботов в таких сетях открыта и пока что не решается. разве что какие-то блэклисты у всех юзеров сети. но это довольно сложно реализовать.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 1)
Ответ на: комментарий от firkax

нет, гуглокапча следит за теми, кто посещает конкретно твой сайт, и сливает данные гуглу. ещё и наверняка подворовывает прочие данные о юзерах. а тикет с независимого сервера воровать данные не может.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 1)

Вот это мы тут посмеялись.

Один пользователь встал на сторону здравого рассудка, а на него набросились как стая непонятно кого.

То, поведение, склад мыслей, который ТС описывает и есть КОПРОЭКОНОМИКА.

Если ваш сайт создаётся для того, чтоб на него только кожаные мешки своими глазками заходили и видели баннер и капала копеечка, чтоб он вот обязаетлько сюда и сюда клацнул, а иначе он — дармоед, то вы всеми силами эту копроэкономику поддерживаете.

Переход к НЕкопроэкономическому мышлению — переход к мыслям «я делаю что-то, потому что стремлюсь быть полезным другим» и имею понимание, веру если хотите, что старания окупятся каким бы способом моё настроение и пожелание не попало к конечному адресату, хоть непосредственно из браузера, хоти из ИИ-агента, хоть 25 раз перемолотое неведомой сущностью.

Аргумент про удорожание содержание звучит валидным, да. Но ИМХО, тут уже ваш выбор: понимать что затея будет стоить дороже, чем в прежние времена или блочить. Однако блочить налево и направо — КМК, увеличивать свои шансы на то, чтоб стать вообще никому ненужным.

Клоунаторам в треде до некопроэкономического мышления ещё как до Луны ползком. Вот такой вот перевёртыш. Будьте здоровы.

LLM-9000
()
Ответ на: комментарий от Iron_Bug

Почему «ты»? Всё должен делать скрипт разово настроенный, просто списки адресов которые ты банишь будут не айпибан делать а редиректить их на этот скрипт.

firkax ★★★★★
()
Ответ на: комментарий от James_Holden

есть, но это сложнее и это требует сертификата на каждый сервер. а я предлагаю идею общих сертификатов, для всех.

но реализовать это можно и через сертификаты, да. сертификаты хранятся в браузере и их можно запрашивать и валидировать. например, юзер получает временный сертификат и может с ним посещать разные ресурсы, которые имеют какой-то механизм проверки с авторизационным сервисом. правда, это не решит вопроса слежки за юзером: авторизационный сервер будет видеть, к каким ресурсам обратился тикет. но тут можно предусмотреть разные варианты, чтобы этого не происходило. например, выкачивание полного списка тикетов - плохой вариант, но вполне рабочий. можно сделать распределённую базу тикетов и репликации, например.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 2)
Ответ на: комментарий от LLM-9000

Ещё один адепт ии-мусора, хотя и пытается замаскироваться.

firkax ★★★★★
()
Ответ на: комментарий от firkax

Да не отравите вы ничего. Узбагойтесь.

Задача - снизить нагрузку на сервак, вот и снижаем. А интернет сам как-нибудь выживет, никуда не денется, это же все деньги.

James_Holden ★★★★★
()
Последнее исправление: James_Holden (всего исправлений: 1)
Ответ на: комментарий от usi_svobodi

так вопрос не в работе админа, а в нагрузке на сервер. ты-то, может, и забыл, с сервер греет воздух и генерит гигабайты ненужного трафика. это определённо не нужно.

ещё раз напоминаю: задача - снизить нагрузку на сервер, а не повысить её.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 1)
Ответ на: комментарий от Iron_Bug

Здравая идея->массовое воплощение->полная печаль. Клаудфлара тоже когда-то смотрелась ну не тортом, но не чем-то оголтело выбешивающим. Я задрался 1300 строчек в prefs.js шерстить, пока нашёл ту, которую надо было переключить, чтоб в вечной петле не крутиться. Да здравствует последовательное удаление диапазонов с проверкой, без этого метода до сих пор бы, наверно, тыркался...

piyavking ★★★★★
()
Ответ на: комментарий от piyavking

нет, вот клаудфларь всегда выглядела унылым говном. потому что для проверки на то, что ты не бот, не нужны никакие скрипты. а скрипты нужны только для слежки за юзерами. и именно поэтому она у меня всегда была забанена со своими говноскриптами.

хуже того, некоторые глупые админы помещают разные сервисы за клаудфларью и эта срань умудряется даже в JSON трафик (контент явно указан как json) влеплять свои html c «включите говноскрипт для проверки». вот это уже совсем маразм и приходится банить те серверы, которые находятся за ней, потому что это поведение ломает трафик и работу сетей. я такое часто видела в Федивёрсе. предупреждала админов, что их сервер выдаёт невалидные ответы и будет забанен, до устранения проблемы - клаудфлари.

Iron_Bug ★★★★★
()
Последнее исправление: Iron_Bug (всего исправлений: 3)
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.