LINUX.ORG.RU
решено ФорумAdmin

Сколько в среднем трафика можно сэкономить и какие есть альтернативы?

 


0

1

Имееться средних размеров организация с очень дорогим внешним каналом. Хочу поставить локально https://pi-hole.net/ и попытаться поуменьшить потребление траффика( в основном смотрят youtube , vk , ok.ru и facebook) .

Вопросы:

  • 1.На сколько у вас получалось поуменьшить потребление канала ?
  • 2.Какие есть альтернативы pi-hole ?
★★★★★

Ответ на: комментарий от pinachet

кто из друзей «интернет провайдером» руководит что вариант со сменой провайдера не рассматривается?

бизнес такой бизнес, задача «через жопу решается» как обычно, вместо очевидной смены провайдера на нормального - «ограничиваем дорогой трафик»

земля металом

svv20624 ()
Ответ на: комментарий от pinachet

Я ищу опыта других , кто сколько смог сэкономить чтобы знать стоит ли ресурсов аппаратных

точнее ты ищешь технологию для «распила» чтоб создать еще один бизнес оказывая услугу по экономии дорогого трафика, поверх «друга интернет провайдера которого сменить нельзя»

в голос

svv20624 ()
Ответ на: комментарий от pinachet

без ограничений поуменьшить траффик

Это как так без ограничений трафика уменьшают трафик, оставляя youtube, vk , ok и facebook? Что-то ведь придётся ограничить или уже изобретены способы ограничений без ограничений?

pi-hole это же вроде dnsmasq или туда что-то магическое добавлено?

Brillenschlange ()
Ответ на: комментарий от pinachet

pi-hole это резка рекламы . Если ее будет меньше( в данном случае это Паразитарная нагрузка) то качество сервиса вырастет

Рекламный трафик на фоне ютуба - даже не капля, это атом в море. Теоретически адаптивный шейпинг ютубов и прочего(торрентов, например) может помочь, но т.к. нынче у нас всё в облаках и густо обмазано https-ом, а у гугла все сервисы в пределах одной AS(то есть отпилить отдельно ютуб от того же гмыла будет непросто), то правильный ответ тут - DPI

Цены на нормальные решения которого тебя я думаю сильно не обрадуют

Плюс геморрой с внедрением будет скорее всего такой, что ты взвоешь

Если надо дешево(и еще больше геморроя) - берешь squid, генеришь отдельный CA, пихаешь его на всех клиентов, а в самом сквиде устраивашь тотальный MitM. Дальше - всё как с http, шейпинг-кэширование средствами сквида и т.д.

Если не нужно прозрачное проксирование - то просто всех выпускай через squid.

Увлекательный секс с банк-клиентами и прочим софтом, обмазанным дополнительной безопасностью, оставляю тебе на сладкое.

Pinkbyte ★★★★★ ()
Последнее исправление: Pinkbyte (всего исправлений: 5)
Ответ на: комментарий от Pinkbyte

Рекламный трафик на фоне ютуба - даже не капля, это атом в море

Бесспорно

@pinachet

Паразитарная нагрузка

На уровне статистической погрешности. Остаётся последнее средство: забить на рекламу и заблочить pornhub, но ты же понимаешь, что будешь уволен моментально после такой диверсии?

средних размеров организация

таки количество?

Brillenschlange ()
Последнее исправление: Brillenschlange (всего исправлений: 1)

1. Нисколько.
2. Рекламорезка - не средство экономии трафика. Вопрос не имеет смысла в контексте рассматриваемой проблемы.

Дисклеймер: нарезка трафика в наше время - адское занятие, главным эффектом имеющее резкое увеличение НЕНАВИСТИ внутри организации.

Есть два подхода: нерабочий и неправильный. Нерабочий - это MITM и низвержение в пучину технологического ада с кривыми проксями, банк-клиентами, гос. софтом и прочей туземной гадостью. Неправильный - это выдача каждому юзеру N гигов трафика на неделю и низвержение в пучину административного ада типа «вася не отправил вовремя письмо дилеру потому, что как раз когда он нажимал send, у него закончился трафик (записано со слов васи, известного своей честностью и исполнительностью)».

Для продолжения дискуссии переведите свой компьютер в режим тонального набора и нажмите «1» (хочу MITM) или «2» (хочу лимитирование).

thesis ★★★★★ ()
Последнее исправление: thesis (всего исправлений: 1)
Ответ на: комментарий от pihter

♂Deep♂ Packet Inspection. Это когда лезут в трафик и пытаются определить, что именно пересылается - например, если SSH используется только для удалённого терминала (и можно оставить в покое), или как туннель в открытый интернет.

anonymous ()

Задача так не решается.

в основном смотрят youtube , vk , ok.ru и facebook

Если только это, то ранее выступившие ораторы всё верно говорят. Ограничивать здесь рекламу это из пушки по воробьям. И решения на базе DPI это да, «атом в море» (хорошее выражение, оценил).

Если это именно организация то задача решается проще – по организации издаётся приказ генерального директора о том, что инетернет на рабочем месте это для работы и решения служебных задач. Ютубчег и прочее смотреть можно. Но либо дома, либо на своём мобильном, по мобильной сети. И в сети организации блокируются все указанные ресурсы наглухо. Ибо нефиг.

Потребление трафика иными рекламными ресурсами в самом простом варианте можно ограничить посредством применения «баннерорезок» на базе того же dnamasq. Основная идея в том, что любые запросы к рекламным ресурсам вырезаются на этапе разрешения имени.

Тогда этот dnsmasq должен иметь список блокируемых IP/domain names и быть указан как сервер DNS для всей этой организации. На файерволле так же нужно зарубить на выход всё, что UDP/53, чтобы отдельные особоушлые товарищи не воткнули себе серваки гугля (8.8.8.8, 8.8.4.4) или иные открытые кеширующие сервера DNS (не только гугль такие услуги предоставляет). Можно просто завернуть трафик DNS на свой сервер. Правда, проклятий от сотрудников будет довольно много. Но, если не боитесь кукл вуду и прочей чёрной магии, то это пофиг. =)))

Кеширующий сервер DNS (dnsmasq) можно поднять хоть на Raspberry PI, хоть на любом другом линукс-совместимом оборудовании и в любом Линукс.

Примеры того, как люди это делают, легко гуглятся раз, два. Плюс, ещё море. Вот этот подход для массового использования будет малость по-эффективнее, т.к. позволяет рубить рекламу на массе ресурсов. И бегать по всем машинам, расставляя AdBlocks ненужно. Всё сразу и для всех есть.

Плюсом так же будет то, что dnsmasq это кеширующий сервер, т.е., все запросы (и позитивные и негативные) будут кешироваться, так что, если один пользователь полез на какой-то ресурс и следом полез другой, то вероятнее всего, результат разрешения имён уже будет закеширован, так что второму пользователю ответ вернётся раньше, что несколько ускорит «интернет» в целом по больнице организации.

Ну и там же можно организовать раздачу адресов, т.к. в состав dnsmasq входит dhcp-сервер, но это уже… Другой вопрос.

Установка squid как кеширующего http-прокси в наши времена малоэффективна, т.к. основная масса долбодятлов на своих говно-ресурсиках просто своим долгом считает вкрячить в заголовки что-нибудь типа Pragma: no-cache или Cache-Control: no-cache, что приводит к блокированию кеширования как в браузере, так и на промежуточных кеш-серверах. И при каждом обращении к ресурсу производится пересылка содержимого. Плюс, https так же не кешируется. Так что, смысла в кальмаре нет никакого.

Ну вот, как-то вот так.

Moisha_Liberman ★★ ()
Ответ на: Задача так не решается. от Moisha_Liberman

Все равно частичное решение. Есть hosts-файлы, DoH, DoT, SSTP/SOCKS/TeamViewer/whatever... Чисто техническими средствами без MITM юзеру крылья не отрезать, поэтому нужно иметь возможность применить административный рычаг к особо хитрой голове. А с MITM всегда криво и глючно.

То есть это одна из задач, которых лучше всерьез не касаться. Ибо окажешься либо тупым мудаком (азаза, смотрите, я нашел как прон смотреть) либо виноватым мудаком (азаза, инет закончился, не могу отчет отправить в налоговую), либо криворуким мудаком (сайт поставщика не открывается). Но мудаком, неизбежно.

thesis ★★★★★ ()
Последнее исправление: thesis (всего исправлений: 1)
Ответ на: комментарий от thesis

Да. Абсолютно согласен.

Все равно частичное решение. Есть hosts-файлы, DoH, DoT, SSTP/SOCKS/TeamViewer/whatever… Чисто техническими средствами без MITM юзеру крылья не отрезать, поэтому нужно иметь возможность применить административный рычаг к особо хитрой голове.

Именно поэтому я сразу и сказал что должно быть административно-организационное решение, исходящее от руководства компании. Без него это будет постоянная борьба с собственными сотрудниками.

UPD. Можно ещё собирать логи (куда юзер ходил) за определённый промежуток времени и, на их основании, раздавать благодарности без вазелина, если там в логах будет всякий «левак», но это тоже административно-организационное решение. Юзеры такого сильно не любят. Хотя, когда-то, очень давно, когда каналы были по модемам, у нас с коллегой (мне тогда ещё и одминить приходилось), одним из любимых «заклинаний» в общении с пользователями было «ща на месяц от интернета отлучу». Было такое. Но там руководство было целиком и полностью на нашей стороне. Ибо модем, на целый завод, а прон-то посмотреть охота… =))) И интернет дома не у всех, домашние сети как класс только-только зарождались.

А с MITM всегда криво и глючно.

С течением времени решение, конечно настроится, но тут весь вопрос в том, сколько организация реально готова выложить за нормальный вариант решения. Боюсь, если речь идёт об экономии интернет-трафика, то цена будет неподъёмна. Т.е., тут можно сразу и не думать в эту сторону.

То есть это одна из задач, которых лучше всерьез не касаться. Ибо окажешься либо тупым мудаком (азаза, смотрите, я нашел как прон смотреть) либо виноватым мудаком (азаза, инет закончился, не могу отчет отправить в налоговую), либо криворуким мудаком (сайт поставщика не открывается). Но мудаком, неизбежно.

В принципе, да. Поэтому я и рассмотрел именно и чисто «наколенное» решение (из того, что есть и денег не просит). Слегка улучшить ситуацию можно без дорогостоящих вложений, но так… Принимая во внимание ограничения по деньгам и по возможностям.

Во всяком случае мой вариант это не панацея со 146%-й эффективностью. Вообще.

Moisha_Liberman ★★ ()
Последнее исправление: Moisha_Liberman (всего исправлений: 2)
Ответ на: комментарий от pinachet

Разрешено эти узлы . Надо попытаться без ограничений поуменьшить траффик

Маловероятно что все они одновременно захотят смотреть одни и те-же видео, по этому имхо стоит сделать так:
Собери у них ссылки на все каналы на которые они подписаны или которые они посещают и систематически собирай с них новые видео на винчестер и выкладывай в расшареную папку, ну а доступ к ютубу разреши одному единственному компьютеру десктоп с которого раздавай всем по vnc или rdp, кто не хочет смотреть видео с твоей шары пусть смотрит коллективно всем офисом через этот единственный компьютер.

torvn77 ★★★★★ ()
Ответ на: В принципе... от Moisha_Liberman

Если это предприятие то не должно быть проблем с указанием прокси в браузерах. Технически это в большинстве случаев решится получением настроек по dhcp и даже ходить не придётся.

А кроме кеширования (которое если не ошибаюсь можно включать принудительно, хотя это лучше делать с осторожностью) сквид это замена рекламы на прозрачный gif 1x1 (да, пока там видео в full hd смотрят, немного сэкономим).

sin_a ★★★★★ ()
Ответ на: комментарий от sin_a

Да.

Если это предприятие то не должно быть проблем с указанием прокси в браузерах. Технически это в большинстве случаев решится получением настроек по dhcp и даже ходить не придётся.

Можно указать и централизованно. Но я для себя уже от проксирования http/https отказался. Выхлоп мизерный, а под squid ресурсы нужно.

А кроме кеширования (которое если не ошибаюсь можно включать принудительно, хотя это лучше делать с осторожностью) сквид это замена рекламы на прозрачный gif 1x1 (да, пока там видео в full hd смотрят, немного сэкономим).

Да, собственно, трюк с прозрачным однопиксельным гифом и на dnsmasq повторяется. В принципе, где-то валялись «рецепты» по редиректу запросов к блокируемым ресурсам на http/https сервер. В качестве сервера что только не использовали люди – и thttpd и apache и практически любой известный веб-сервер.

В качестве генератора гифки как правило использовался pixelserv на перле. Потом у меня была своя дописка на С, т.к. не особо люблю скриптовые языки а сетка хоть и чисто для одного дома, но девайс, на котором обрабатывался траф, всё таки, ARMовый. И не хочется тратить ресурсы.

Сейчас вот перешёл уже на вот это в качестве пикселсерва. Своё под tls я не стал дотачивать. HOW TO по теме тут. Менял я там чего или нет, я уже не помню, но в связке с dnsmasq это решение работает.

Правда, надо учитывать то, что однопиксельный прозрачный гиф хорош в случае, если у рекламного баннера на странице указаны размеры. Тогда гифку браузер должен растянуть под размер. И, по идее, дизайн не поползёт в разные стороны. Но не всегда и не всё так хорошо и безоблачно.

Но так или иначе, но рекламу с ресурсов зачищает как правило. Т.е., мы отрубаем чисто запрос рекламных баннеров и не более.

Moisha_Liberman ★★ ()
Ответ на: комментарий от anonymous

спасибо, @thesis , @Pinkbyte

тока не ясно, если оно по определению шифрованное, то как там определишь что внутрях твориться? По косвенным признакам? Что ж это за шифрование такое?

pihter ★★★★ ()
Ответ на: комментарий от pihter

В старые времена шифровали не всё подряд, начальные заголовки инициализации соединения вполне могли идти нешифрованными. Поэтому отличить например SMTP с STARTTLS от HTTP - вполне реально. Зашифрованное письмо ты не увидишь, но сам факт передачи такого письма - вполне.

Если речь идет о Bittorrent - для DPI и не нужно видеть содержимое передаваемых файлов для того чтобы запретить/прижать по скорости протокол, который жрет канал.

Естественно это всё не всегда обладает 100% вероятностью на успех и у DPI бывают ложные срабатывания по сигнатурам. Тут как с эвристическим анализом у антивирусов...

Pinkbyte ★★★★★ ()
Последнее исправление: Pinkbyte (всего исправлений: 1)
Ответ на: комментарий от pihter

В своё время...

И на другом ресурсе я много матерился по поводу того, о чём пишет уважаемый @Pinkbyte.

Для качественного DPI нужен подход «MItM в законе». Т.е., сдёрнуть шифрование с пакетов (как минимум, понять что там за payload), проанализировать этот пакет (интересен опять же payload) и потом принять решение – то ли дропнуть, то ли перешифровать и отправить на сервер. Типа, как валидный пакет.

На практике это офигенно дорогое удовольствие. Проще вычленить характерные признаки пакета, а дальше уже использовать флуктуационный анализ трафика. Т.е., если мы смотрим проходящий траф, то не дешифруем-шифруем его, а просто смотрим на размер пакета. Если попёр трафик на какой-то хост и пакеты имеют нужный нам размер (например), то просто пришибаем весь этот трафик на указанный сервер.

Собственно, до «шпициалистов» по анализу трафика чуть позже дошло. Правда, не дошло что массовость блокировок была обусловлена вообще не тем, о чём нам изначально рассказывали, там при блокировках поотъезжали сервисы и у РЖД и у всяких-разных ставропольских больничек (т.е., у людей, которые вообще-то как-то обязаны бдеть над соблюдением соответсвующего ФЗ), но это мелочи.

Куда как веселее (взоржахом аки конь стоялый) реакция:

Специалист по блокировкам Филипп Кулин (Неугомонный Фил) и владелец хостинг-компании DiPHOST прокомментировал ситуацию: «Хочу обратить внимание, что ограничение доступа к ресурсам по результатам анализа трафика незаконно. Обтекаемые формулировки репрессивного российского законодательства в области ограничения доступа к информации всё равно создают определенные рамки для оснований для блокировок и способов блокировки. Ничего похожего ни на ковровые блокировки, ни на анализ пакетов там нет. Это строго противозаконно».

Т.е., этот серверный олень, который начал чего-то лепить про незаконность анализа трафика хочет сказать что с точки зрения российского законодательства Cisco вне закона что ли? Бууугага! =))) PDF чисто в качестве намёка Можно и покруче расписать, да уж ладно, не буду.

Мне просто интересно – а эти гаврики хоть изредка вкуривают что именно они с умным видом несут? Анализ трафика такого рода… Впрочем, со слов этого дятла, даже ТС получается вне закона. =)))

Moisha_Liberman ★★ ()
Последнее исправление: Moisha_Liberman (всего исправлений: 2)
Ответ на: комментарий от pinachet

pi-hole это резка рекламы . Если ее будет меньше( в данном случае это Паразитарная нагрузка) то качество сервиса вырастет

По сравнению в видео реклама это капля в море.

Zhbert ★★★★★ ()
Ответ на: комментарий от Brillenschlange

Остаётся последнее средство: забить на рекламу и заблочить pornhub, но ты же понимаешь, что будешь уволен моментально после такой диверсии?

Сделать распечатки трафика, обосновать, почему из-за просмотра видео идет такой перерасход и сколько бабла теряет фирма. Если директор согласен - блочить все к чертям. Если нет - забить болта и сидеть спокойно на жопе ровно - ты попытался, не смог, не фортануло, все.

Zhbert ★★★★★ ()
Ответ на: комментарий от Pinkbyte

Естественно это всё не всегда обладает 100% вероятностью на успех и у DPI бывают ложные срабатывания по сигнатурам. Тут как с эвристическим анализом у антивирусов…

А еще из-за него теоретически может рандомно лагать все, когда он ложно срабатывать будет, что вызовет бугурт у юзеров, а если это будут руководящие юзеры, то и попоболь у админа.

Zhbert ★★★★★ ()
Ответ на: комментарий от Zhbert

Таки...

За МКАДом есть жизнь?! О_О

Таки это чуть дальше, чем просто за МКАДОм. =))) Это, по ходу, территории 404. Ну только там настолько «здравые» идеи могут прийти в голову. Ну и пробелы перед знаками препинания. Маркер, да.

И я уже давно заметил что там некая такая особая е… эээ… «нестандартность мышления» поражает массы, передаваясь не иначе как воздушно-капельным путём. =)))

Moisha_Liberman ★★ ()
Последнее исправление: Moisha_Liberman (всего исправлений: 1)
Ответ на: комментарий от torvn77

Собери у них ссылки на все каналы на которые они подписаны или которые они посещают и систематически собирай с них новые видео на винчестер и выкладывай в расшареную папку, ну а доступ к ютубу разреши одному единственному компьютеру десктоп с которого раздавай всем по vnc или rdp, кто не хочет смотреть видео с твоей шары пусть смотрит коллективно всем офисом через этот единственный компьютер.

Дельная мысль, кстати. Можно даже просто поднять расшаренный nextcloud, который умеет показывать в браузере видео, а там по каталогам разложить закачанные ролики.

Только это не сработает. Я на 95% уверен, что большинство юзверей смотрит не одни и те же каналы, а рандомно тыкает по картиночкам в предложенных, то есть вероятность того, что просмотренный ролик кому-то понадобися потом стремится к нулю, что убивает нафиг сразу идею это кешировать.

Zhbert ★★★★★ ()