Может ли провайдер занижать скорость.

Роутер говно?

Роутер норм, я же написал, что если роутер получает данные со squid, то загрузка быстро происходит, а если напрямую через провайдера, то в замедленном режиме.

Ну так правильно, роутер — говно.
Если бы провайдер хотел порезать скорость — ему бы на сквид наплевать было.

резал чёрного петуха

Афропетуха. Нынче надо так говорить.

Как посчитать, в каком месте сети бутылочное горлышко, которое надо развальцевать у прова?

Роутер у тебя такое горлышко.

Если ты роутер оставил и просто установил Squid и все заработало, это скорее всего у тебя косячные сетевые настройки. А где они - я хз. Позвони в поддержку прова, может чего подскажут.

Итоговая схема какая? клиент > роутер > комп с проксёй > кабель провайдера?

Или прокся стоит в локалке и прописана на клиентах в настройках, а кабель провайдера в роутер воткнут?

Или прокся стоит в локалке и прописана на клиентах в настройках, а кабель провайдера в роутер воткнут?

Именно так.

прокся стоит в локалке и прописана на клиентах в настройках, а кабель провайдера в роутер воткнут?

Именно так.

планшет перестал зависать на онлайн кинотеатре

хватает, чтобы FHD без тормозов тянуть.

Провайдер вполне может распознавать мультимедиа трафик и шейпить. Если сам даёт iptv за доп. копеечку, то может, ясное дело, шейпить только «чужое» кинцо.

Интересно, может ли SQUID как-то маскировать содержимое?.. Он, например, ни к какому прокси-впн-что-то-еще не подключен?

Перво-наперво проверь какой у тебя DNS стоит. И насколько быстро он отвечает на запросы неизвестных имён.

$ dig ru11.ru | grep "Query time"
;; Query time: 195 msec
$ dig ru11.ru | grep "Query time"
;; Query time: 0 msec

$ dig ru12.ru | grep "Query time"
;; Query time: 166 msec
$ dig ru12.ru | grep "Query time"
;; Query time: 0 msec

$ dig irk.ru | grep "Query time"
;; Query time: 54 msec
$ dig irk.ru | grep "Query time"
;; Query time: 0 msec

dig ru11.ru | grep "Query time"
 Query time: 536 msec
dig ru12.ru | grep "Query time"                                            
 Query time: 528 msec                                  
dig irk.ru | grep "Query time"
 Query time: 748 msec
dig ru11.ru | grep "Query time"                                            
 Query time: 0 msec                
dig ru12.ru | grep "Query time"                                            
 Query time: 0 msec                    
dig irk.ru | grep "Query time"                                             
 Query time: 0 msec

Как-то так. 0ms это из-за того, что у меня ещё кэширующий DNS работает, наверное.

Услуги IP-TV они предоставляют. Может и режут.

Как и ожидалось — дохренналион секунд ответ от DNS. А теперь, если у тебя установлен ublock origin, то нажми его кнопку и посмотри ко сколько доменам идёт запрос на типичных твоих страницах интернета. Вот прямо эта страница запрашивает 5 доменов. И в худшем случае запрос всех имён доменов на странице займёт 2,5 сек при твоих стандартных 500 мсек на домен. В лучшем случае 500 мсек, если все домены будут запрошены параллельно.

linux.org.ru
www.linux.org.ru
google-analytics.com
gravatar.com
yandex.ru

Т.е. по факту тебе надо сначала найти самый быстрый для тебя сервер DNS. И принудительно указать его в настройках роутера для раздачи клиентам.

 dig linux.org.ru 8.8.8.8 | grep "Query time"
;; Query time: 104 msec
;; Query time: 0 msec

$ dig linux.org.ru 195.46.116.1 | grep "Query time"
;; Query time: 0 msec
;; Query time: 114 msec

$ dig linux.org.ru 195.46.96.1 | grep "Query time"
;; Query time: 0 msec
;; Query time: 64 msec

Видишь, для меня самый быстрый это сервер провайдера 195.46.96.1.

Вторым шагом — это настроить кэширующий DNS на роутере или любом другом компе в твоей локальной сети. И в настройках этого кэширующего DNS в качестве вышестоящих поставить более быстрые сервера найденным на первом шаге.

PS при включенном ublock origin на заглавной странице lenta.ru идёт запрос к 10 доменам, при выключенной — к 29 доменам. Т.е. если эту всю чепуху не резать и не ускорять, то на мобильном устройстве каждый раз заново запрашиваются 29 доменов у DNS и потом ещё тратится время на разъезжание и сдвигание различных блоков с рекламой и инфой.

Тогда не исключено и то, что и роутер не вывозит.

Это или плюсом к вышеупомянутым justAmoment проблемам с DNS, или медленное разрешение имён ещё один симптом проблем с роутером.

Надо знать какой роутер, какая прошивка. Если не стоковая, чего на нём ещё крутится. Чего у него с температурой.

Раз смог сквид развернуть, можешь развернуть и бинд в локальной сети.

Обеими руками за бинд. Он напрямую в корневые сервера ходить умеет шифрованными запросами, кеширует и на закидоны провайдерского DNS становится плевать. Ну а ещё сейчас кажется любой роутер умеет кешировать провайдерский DNS, причём чуть ли не по умолчанию. И прописывать тогда на клиентах нужно его IP в качестве DNS сервера. Но вообще то он его сам раздаст по DHCP всем желающим.

Это идея. Надо попробовать. Но я как-то раз ставил 1.1.1.1 и 1.0.0.1, до них хороший пинг. но на общую картинку это как-то не повлияло.

NETIS MW5230 - такой роутер.
Я бы не сказал, что тормозной. Если поток SQUID из локальной сети он вывозит, а поток от провайдера нет?
Как такое может быть?

Я бы воткнул кабель от провайдера прямо в комп, минуя роутер, и проверил. Без сквида. Было бы ясно кто виноват. Провайдер или руки\роутер. Пров вполне может шейпить некоторые виды трафика.

NETIS MW5230

Какой-то ноунэйм, ради которого даже openwrt не собрали.

Ещё учитывай, что когда ты качаешь что-то из интернета ты для этого делаешь операцию SNAT над каждым пакетом данных, что нехило так кушает процессорную мощность роутера, если у него нет аппаратного ускорения этой операции. И если у тебя при потоке из интернета 30 Мбит идёт нагрузка на проц роутера 100%, то 31 Мбит ты из интернета вот никак не получишь, т.к. проц не умеет работать более 100%. Когда ты качаешь закэшированные данные из локального squid, то никакой операции SNAT над ними не производится. Т.е. первый раз из интернета в кэш squid-a, данные попадают через операцию SNAT, а потом уже отдаются локальным пользователям 1,2,Х раз без операции SNAT. И ты видишь что и доступ в интернет ускорился за счёт кэширования и проц роутера перестал захлёбываться 100% нагрузкой без SNAT.

Когда ты качаешь закэшированные данные из локального squid, то никакой операции SNAT над ними не производится.

Много ты данных закэшируешь в эпоху тотального https?

зарядил на него последний SQUID

Ты на планшетах и телефонах прокси настраивал? Это ж наркомания.

Много ты данных закэшируешь в эпоху тотального https?

Да, у меня мужик в середине сидит на squid.

Все проверки скорости подключения осуществляются прямым подключением кабеля в компу/ноутбука

NETIS MW5230

Платформе 8 лет. Чистокровный китаец. 100Mbps (причём не уверен, что на все 4 порта одновременно сможет 100Mbps выдать). 2.4Ghz 802.11n. Нет охлаждения и тесный корпус.

Купил хлам за $20, подключил к нему кучу абонентов и ждёт адекватной от него работы.

Втыкай напрямую в комп, проверяй что ничего не тормозит и думай.

даже не написал что за провайдер.

поставить какой-нибудь vpn и посмотреть как там сайты открываются тоже вариант.

всё ещё может быть в настройках роутера. у меня Ростелеком, openwrt на асусе и чтобы сайты рандомно не обрывались на пол загрузки путем мучений выяснил что роутер не должен быть dns сервером, а просто раздавать ip по dhcp локальным клиентам. dhcp4 ручная опция конфига «6,8.8.8.8,8.4.4.4», и в настройках wan lan теже самые ip это только для openwrt.

где то месяц мучался с обрывами пока не понял что под vpn все идеально.

вот вот, если прямое подключение в комп работает идеально - дело в роутере.

Набросать схему своей сетки до провайдера и придумать достоверный тест скорости для каждого участка.

А что там настраивать? В разделе своей сети убиваешь и забываешь.

Нормальный роутер. У него самый сильный сигнал на этаже. Загрузка от 30 до 100%. У меня был ненноунэйм Асус, вот этот реально был дохлый ослик

Вбил клиентам адрес кэширующего своего dns, без скаид Бодрее вроде начало работать, но не «ах». По сравнению с SQUID. производительность не впечатляет.

ну, раз роутер нормальный, тогда провайдера меняй, ага.

Роутер норм, я же написал, что если роутер получает данные со squid, то загрузка быстро происходит, а если напрямую через провайдера, то в замедленном режиме.

Подожди, а squid данные откуда берёт? О чудо - через провайдера, напрямую. Или он у тебя через астрал подключен? Нет, очевидно.

Ну если только изврат с ssl_bump городить...

Нормальный роутер.

Судя по твоим рассуждениям - подобные выводы находятся выше твоих возможностей.

У него самый сильный сигнал на этаже.

Что из этого следует? Да и как ты это замерил? Через три стены соседа и через 0 своё?

Загрузка от 30 до 100%.

А ну 100% загрузка ни на чём - да - это норма. Это так и работает.

Много ты данных закэшируешь в эпоху тотального https?

Если в трафике считать, то немного, а если в количестве запросов, то несколько больше. Сквид в частности ответы dns запоминает и кеширует, ответы о недоступности каких-либо узлов и всякую еще такую хероту. Например он некоторое время держит соединение с сервером на случай если от браузера поступит туда новый запрос. ТС судя по всему на Чукотке живет, для него такие мелочи могут быть актуальны.

покажите вывод это команды, если актуально:

wget "https://mirror.yandex.ru/gentoo-distfiles/releases/amd64/20170118/livedvd-amd64-hardened-nomultilib-20170118.iso" -O /dev/null

Сквид в частности ответы dns запоминает и кеширует

Роутер точно так же кэширует днс запросы, если все настроено не через анус.

планшет, телефоны, ноут

и всё через вафлю?
поди и клиенты только b/g вайфай держат?

Провайдер может резать скорость, но squid от этого совершенно не спасает.

Как посчитать, в каком месте сети бутылочное горлышко…

Зачем что-то считать? Просто пользуйтесь Internet-ом через squid. За одно им можно заблокировать много статистики, рекламы и прочей гадости, наверное не очень нужной вам.

Решил вопрос по другому.
Поставил старый роутер для кабеля прова. Новый воткнул по проводу в старый роутер и на новом раздача WiFi. Всё стало просто летать.
На прова теперь как бы грех жаловаться. Избыточный ресурс как бы, но что есть то есть.