LINUX.ORG.RU
ФорумTalks

Один день из копроэкономики

 , ,


1

2

Процитирую сообщение, которое сегодня отправил клиенту. Комментарии излишни, наверное. И так всё ясно.


Взял только первые два числа от IP, в топе такие значения получаются:

   4903 42.81
   5446 40.79
   6473 142.147
   6831 42.187
   7347 84.37
   7564 207.241
   9946 65.21
  10110 20.171
  10678 47.246
  37377 8.217
  59520 202.76
  65096 43.173
 201283 216.73
 217590 146.174
 247401 66.249

Проанализировал принадлежность IP и user agent-ы.

66.249 - боты Google.

146.174 - имитирует органическую посещаемость, UA реальных браузеров. Вот только диапазон принадлежит HuaweiCloud.
Забанил весь диапазон IP.

216.73 - ClaudeBot, сегодня ранее уже заблокировал его.

43.173 - диапазон принадлежит компании https://ru.wikipedia.org/wiki/Tencent Все UA почти одинаковые, с небольшими вариациями. Основной UA этот:
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.6478.114 Safari/537.36
Забанил весь диапазон IP.

202.76 - имитирует органическую посещаемость, но диапазон принадлежит HuaweiCloud.
Забанил весь диапазон IP.

8.217 - UA: AliyunSecBot/Aliyun (AliyunSecBot@service.alibaba.com)
Забанил весь диапазон IP.

47.246 - имитирует органическую посещаемость. Все 10678 были вчера, сегодня обращений ноль. Диапазон адресов принадлежит Alibaba Cloud LLC
Забанил весь диапазон IP.

20.171 - GPTBot, сегодня ранее уже заблокировал его.

65.21 - AwarioBot, сегодня ранее уже заблокировал его.

207.241 - Бот сайта http://archive.org/
Его банить рука не поднялась, единственный полезный сервис на фоне этих наглых ботов китайских нейросеток. Да и нагрузки от него не много.


Отдельная проблема с ботами Гугла. Если взять статистику по поисковым ботам, то окажется, Google создаёт нагрузку в 20 выше, чем Yandex:

  10917 +http://www.bing.com/bingbot.htm
  12092 +http://www.apple.com/go/applebot
  12313 +http://yandex.com/bots
 249190 +http://www.google.com/bot.html

Возможно, Google тоже решил «выкачать весь интернет» для нейронок. И делает это под теми же самыми IP и UA, что и бот поисковой системы. Чтобы веб-мастер не мог просто взять и заблокировать его, если не хочет остаться без присутствия в поисковой выдаче.

★★★
Ответ на: комментарий от AlexVR

Простой пример, на следующие вопросы Дипсику:

Yandex, Google и даже Rambler умели это 20 лет назад. Т.е. десятилетия прогресса обернулись тем, что мы получаем тот же результат, затратив больше ресурсов. Копроэкономика, как и было сказано.

ugoday ★★★★★
()
Ответ на: комментарий от adn

дело именно в вилках - очень сложно найти хорошего специалиста за небольшую зарплату

ну, то есть раба. собственно, что и требовалось доказать.

Поэтому очень интересно на какие исследования ты опиралась (как «человек логики»), когда пришла к такому выводу.

не надо никаких «исследований». очевидные наблюдения за происходящим. и вполне понятные выводы из этих наблюдений. я не понимаю, к чему тут приплетать социологию.

хорошо что не в работу на западные разведки. хотя тут видимо один маленький шаг. очень дико со стороны смотрится. не надо так.

я ничего против Запада не имею. я не ватник.

Iron_Bug ★★★★★
()
Ответ на: комментарий от R_He_Po6oT

а ты попробуй, когда они начинают нести про гороскопы, втирать им что-нибудь про астрофизику, например. у нас на одной работе был своеобразный клуб любителей астрофизики. собирались в столовке на обед и обсуждали вопросы устройства Вселенной. кто что прочитал о разных исследованиях и интересных фактах. на другой работе был клуб любителей разных языков. говорили на пяти языках, для разнообразия. сравнивали, обсуждали лингвистику. это так, в качестве развлечения. но было интересно. про гороскопы ничего не припоминаю :)

Iron_Bug ★★★★★
()
Ответ на: комментарий от Beewek

Это он опять API ютуба поменял, на гитхабе yt-dlp уже появилось issue со способом временно обойти проблему.

Werenter ★★★
()
Последнее исправление: Werenter (всего исправлений: 1)
Ответ на: комментарий от Iron_Bug

Я стараюсь только по рабочим делам говорить. У каждого в руке поток видео из... я уже не знаю откуда, тиктоки, или что, не важно. Тут чел надел ведро на голову и ходит, там собака в заборе застряла к ней сзади чувак пристроился и изображает, этот въехал в магазинчик на авто... Тааак содержательно... Не хочу отвлекать. С одним только в шахматы играли. Но мне обычно некогда на обеде, не поиграть толком. Хоть молча поиграть - и то общение.

R_He_Po6oT ★★★★★
()
Ответ на: комментарий от Iron_Bug

ну, то есть раба. собственно, что и требовалось доказать.

А что именно ты доказываешь? Я запутался. Да, раба сложно найти. Поэтому вместо рабов приходится брать дорогих специалистов и платить им достаточно денег, чтобы их не перекупили конкуренты.

не надо никаких «исследований». очевидные наблюдения за происходящим. и вполне понятные выводы из этих наблюдений. я не понимаю, к чему тут приплетать социологию.

Ты в любом случае живешь в информационном пузыре. Это люди примерно одного социального слоя и чаще всего ограниченны парой локаций. Плюс физически этих людей всего несколько сотен (2-3). И у тебя получается совершенно нерепрезентативная выборка. Вот проблему пузыря и решает социология.

adn ★★★★
()
Ответ на: комментарий от adn

ну, ты утверждал, что везде «вилки зарплат», крутые спецы и вот это всё. а оказалось на деле, что набирают васянов на зарплаты джунов. что я и утверждала изначально, собственно.

Iron_Bug ★★★★★
()
Ответ на: комментарий от Iron_Bug

ну, ты утверждал, что везде «вилки зарплат», крутые спецы и вот это всё. а оказалось на деле, что набирают васянов на зарплаты джунов. что я и утверждала изначально, собственно.

В смысле? Где такое «оказалось»? Ты меня как-то не так читаешь.

Градации не просто так. В долгосрочной перспективе растить джунов выгодно, но им никто не дает сеньорские задачи никогда. И самое главное, что в процессе роста растет и зарплата.

В краткосрочной перспективе, когда сервис еще не спроектирован, не написан и не развернут (и еще не зарабатывает денег) - нужны исключительно высококлассные специалисты. И эти специалисты не уйдут никуда после запуска и выхода на прогнозируемые мощности. Они все так же остаются в команде.

adn ★★★★
()
Последнее исправление: adn (всего исправлений: 1)
Ответ на: комментарий от adn

В краткосрочной перспективе, когда сервис еще не спроектирован, не написан и не развернут (и еще не зарабатывает денег) - нужны исключительно высококлассные специалисты. И эти специалисты не уйдут никуда после запуска и выхода на прогнозируемые мощности. Они все так же остаются в команде.

Эти высококлассные специалисты смогут выделить мне сервер с предустановленной «Гентой»? Я вижу, что обычно предлагается «Убунта», «Дебиан» и «Федора». Массовое обслуживание может предложить лишь такое же общее, массовое техническое решение, то есть ширпотреб. Зачем мне именно «Гента» на сервере? - В ней я соберу более быстроработающее ядро «Линукса» и с меньшим количеством запущенных системных служб мое прикладное ПО получит большую вычислительную мощность на той же самой вычислительной технике. Да и в «облаке» арендованный сервер будет работать среди сотен таких же серверов на одном физическом сервере в постоянных переключениях планировщика-гипервизора, что менее отзывчиво работает для меня, чем физический домашний сервер, который мой целиком.

«Облака» созданы капиталистами для бестолочей, а настоящие мастера ИТ-дела содержат свои физические сервера. Главная цель «облачников» это заработок денег. Тоже самое, что и у начинателя этой темы, которого злит, что поисковые роботы не смотрят его рекламу, а то, что люди получат более грамотный отчет на основе просмотра роботами и его интернет-страницы этого скупердяя не заботит. Главное же в жизни это заработать денег, правда?

Enthusiast ★★★
()
Ответ на: комментарий от Enthusiast

Так может ты перестанешь пользоватся нищими хостинг провайдерами? Потому что у нормальных помимо убунты, редхата и винды, есть ещё такая необычная функция как «своя OS» пункт так и называется.

sbu_shpigun
()
Ответ на: комментарий от Enthusiast

ну, если ты взял сервер, то накатить ты можешь что угодно. на моём сервере установлена моя сборка. правда, был некоторый пердолдинг с удалённым накатыванием системы без физического доступа к машине, но всё получилось.

а «облака» - это просто типичное ненужно. и даже не просто ненужно, а опасное и вредное ненужно.

Iron_Bug ★★★★★
()
Ответ на: комментарий от adn

В краткосрочной перспективе, когда сервис еще не спроектирован, не написан и не развернут (и еще не зарабатывает денег) - нужны исключительно высококлассные специалисты.

а денег у стартапа просто дофига и на высококлассных спецов, конечно, хватит и ещё останется на развёртывание железа и вот этого всего. или предлагается работать за «светлое будущее», как при социализме?

Iron_Bug ★★★★★
()
Ответ на: комментарий от Iron_Bug

а денег у стартапа просто дофига и на высококлассных спецов

причем тут вообще стартап, если мы про облачных провайдеров говорили? стартапы взлетают 1 на 1000 - это совершенно другая история ближе к лотерее

adn ★★★★
()
Ответ на: комментарий от Iron_Bug

а «облака» - это просто типичное ненужно. и даже не просто ненужно, а опасное и вредное ненужно.

обоснуй

adn ★★★★
()
Ответ на: комментарий от Enthusiast

Я вижу, что обычно предлагается «Убунта», «Дебиан» и «Федора».

облачные решения - это далеко не только vps-ки. Но практически на все vps-ки ты сможешь поставить свою систему.

В ней я соберу более быстроработающее ядро «Линукса» и с меньшим количеством запущенных системных служб мое прикладное ПО получит большую вычислительную мощность на той же самой вычислительной технике.

Ты лет на 20 опоздал с этим. Современные интернет-проекты - это сложная инфраструктура из сотен серверов. Там руками никто систему не ставит. Даже в случае железных серверов все автоматизировано - машина загружается по сети и автоматически накатывается нужный тебе слепок системы. Потому что любой простой стоит денег.

Главная цель «облачников» это заработок денег.

Ты не поверишь - любой бизнес строится ради зарабатывания денег. Никто не будет заниматься it-благотворительностью при таких затратах и рисках.

Главное же в жизни это заработать денег, правда?

Не путай бизнес и личную жизнь

чем физический домашний сервер, который мой целиком.

Ты зависишь от провайдера и берешь на себя все риски по выходу из строя железа, краж, проблем с провайдером, электричеством и платишь дополнительно за электроэнергию. Если твой сервер - хобби, то норм, а если это инструмент заработка, то это очень плохой вариант.

adn ★★★★
()
Ответ на: комментарий от adn

обоснуй

ты используешь свой кот, информацию(кт,финансы,пдн(в той или иной мере законы есть об этом почти во всех странах), и т.д.), решение на чужом оборудовании/ос.
единственный смысл - капитализм(дёшево, отсутствие ответственности).

etwrq ★★★★★
()
Ответ на: комментарий от Enthusiast

единственное, для чего может быть нужно «облако» - это для задач, которые никак не связаны с любыми важными или чувствительными данными. вот для работы, для целей тестирования, например. код я бы не стала на такие машины заливать, потому что возможны утечки и компрометация. или для впн, из дешёвых вариантов. но сервер, конечно, лучше.

Iron_Bug ★★★★★
()
Ответ на: комментарий от Iron_Bug

Тебе свежая новость про облака понравится. Для adn тоже.

https://3dnews.ru/1131242/vzbesivshiesya-umnie-matrasi-ulichili-v-peredache-g...

Владельцы умных матрасов Eight Sleep буквально потеряли сон из-за масштабного сбоя серверов AWS. Оказалось, что локальное управление во многих моделях было просто не предусмотрено, из-за чего умные матрасы зависали в режиме охлаждения, нагрева и неудобного наклона. Также выяснилось, что матрасы отсылают производителю просто неприличное количество телеметрии и данных о своих пользователях.

Один из владельцев умного матраса после сбоя попытался разобраться в проблеме и обнаружил, что само приложение отправляет производителю невообразимое количество данных — 17,7 Гбайт в месяц. Другой пользователь проверил свою статистику и обнаружил, что его модель потребляет ещё больше — 28 Гбайт в месяц, или примерно 1 Гбайт в день. Можно с уверенностью утверждать, что подобные поведение демонстрируют умные матрас-шпионы и у других пользователей.

praseodim ★★★★★
()
Ответ на: комментарий от praseodim

жесть! это уже какой-то киберпанк.

я не понимаю людей, которые покупают такие вещи домой. мой матрас старый, из него уже торчат пружины, но он за мной не шпионит :)

Iron_Bug ★★★★★
()

66.249 - боты Google.

так я не пони, почему всех остальных забанил, а этих нет? этих в первую очередь надо в /dev/null перенаправлять!

PerdunJamesBond
()
Для того чтобы оставить комментарий войдите или зарегистрируйтесь.