LINUX.ORG.RU
ФорумAdmin

Слежение за http и https БЕЗ видимой подмены сертификатов

 , ,


1

2

Собственно сабж. В сети одной небольшой организации у руководства появилась навязчивая идея отслеживать кто посещает соцсети. Устройство сети: Микротик -> клиенты (около 100+ компьютеров)

Как это лучше сделать? В голове крутится squid+sams либо netflow с микротика + чем то смотреть(кстати чем?)

Сейчас покрутил сквид (не centos 7), но у меня получилось извращение. У него один локальный интерфейс. И не работают у него в прозрачном режиме порты: Выдержка с логов:

1482087494.521     77 192.168.5.182 TCP_MISS/503 4455 GET http://linux-admin.tk/ - ORIGINAL_DST/192.168.5.15 text/html
1482087494.588      0 192.168.5.182 TCP_MEM_HIT/200 13099 GET http://monitoring-srv.local:3130/squid-internal-static/icons/SN.png - HIER_NONE/- image/png
1482087494.617      0 192.168.5.182 TCP_MISS/503 4376 GET http://linux-admin.tk/favicon.ico - ORIGINAL_DST/192.168.5.15 text/html
1482087494.672      0 192.168.5.182 TCP_MISS/503 4450 GET http://linux-admin.tk/favicon.ico - ORIGINAL_DST/192.168.5.15 text/html

Пока что вручную прописал проксю в браузере на 80 и 443 порт. Делал я это на скорую руку по мануалу https://habrahabr.ru/post/267851/ Сам сквид до этого не крутил, так что прошу не ругаться. Опыт подсказывает, что гуглежка + тема на лоре дает весомый результат.

Мне вообщем то и не важно, как это будет выглядеть (идея со сквидом мне не нравится). Задача сделать так, что бы я имел статистику ип клиента:история посещений желательно по дате.


Если клиентские тачки под контролем, то почему просто не воткнуть свой корневой сертификат?

Deleted ()

И не работают у него в прозрачном режиме порты

http_port 3128 accel vhost allow-direct

Для https можно автонастройку прокси использовать и ловить в логах что-то типа:

CONNECT vk.com:443

Radjah ★★★★★ ()
Ответ на: комментарий от Deleted

там все печально, поверьте мне. Все тачки под линями, никаких централизованных политик, ничего. Такое наследство мне досталось с месяц назад. Вариант без кальмара вообще есть?

Rockon ()

В сети одной небольшой организации у руководства появилась навязчивая идея отслеживать кто посещает соцсети


Ты уже объяснил руководству иррациональность этой затеи?

zolden ★★★★★ ()
Ответ на: комментарий от beastie

Зачем тебе сам траффик, если IP известны? Netflow на шлюз и рапортуй себе кто куда ходил.

чем рекомендуете посмотреть? К тому же не прогружу ли я микротик такими вещами?

Ты уже объяснил руководству иррациональность этой затеи?

это бесполезная затея

Rockon ()

А попробуй оригинальный способ?
Пиши докладную что надо купить специальный комплекс, например от Касперского, если такой делают.

Deleted ()
Последнее исправление: RTP (всего исправлений: 1)
Ответ на: комментарий от Rockon

ЕМНИП iptables уже умеет в netflow. Читай про nfsen (ссылка выше).

Тоже самое можно навесить и на любой продвинутый свитч.

TL;DR: оно сохраняет и агретирует только IP шапки, без body. Их можно складывать и удалённо и локально. Нагрузки на CPU это практически не даёт.

В зависимости от законодательства это вполне легально, т.к. оно не сохраняет контент, а только кто куда и как часто. Проблемы могут начаться только если ты станешь сопостовлять внутренние IP с конкретными коллегами. (Личные данные и всё такое.)

По объёмам данных — веб контора в 100 душ генерирует примерно 4G за 3 месяца. Но это можно ограничить.

Смотреть/разбирать — тем же nfsen. Можно навесить различные alarm'ы на что угодно. Плезная штука в общем.

beastie ★★★★★ ()
Последнее исправление: beastie (всего исправлений: 1)

В первую очередь рекомендую задуматься над тем, кто сейчас сидит в соц сетях с ПК?

deterok ★★★★★ ()

Пробовал в свое время настраивать прозрачный сквид на FreeBSD 10.3. На тот момент был какой то баг с постоянным сегфолтом при открытии по https. Одно могу сказать точно, что непрозрачный работает как часы.

anonymous ()

squid + squidGuard + lightsquid + Ansible/Samba/GPO

  • squid — проксирование
  • squidGuard — управление доступом
  • lightsquid — контроль доступа
  • Ansible/Samba/GPO — деплой настроек
ArcFi ()

Как на счёт ложных срабатываний из-за:

  • Виджетов авторизации через соц.сети
  • Кнопки лайков для соц.сетей
  • Картинки и видео из соц.сетей

???

anonymous00 ★★ ()
Ответ на: комментарий от Rockon

никаких централизованных политик

Эту проблему нужно решить в первую очередь.
Как минимум, поднять на всех клиентах SSH.
Для реализации сабжа этого должно быть достаточно.

ArcFi ()
Ответ на: комментарий от beastie

оно не сохраняет контент, а только кто куда и как часто.

Оно разве может отличить, это я в браузере набрал соц.сеть.дот.ком или мне не повезло попасть на сайт, который сам запрашивает что-то с соц.сеть.дот.ком? (Не все же установили у себя два-клика.)

gag ★★★★★ ()
Ответ на: комментарий от gag

У социального мусора обычно отдельные хосты для раздачи цифр типа «1 ваших друзей лайкнули этот псто»

legolegs ★★★★★ ()
Последнее исправление: legolegs (всего исправлений: 1)
Ответ на: комментарий от Deleted

но сейчас то зачем? О_О

гы, ты хоть раз видел как девочка смотря фотки (!) втентакле выжирает 3 МБит/с трафика? я видел. они блин как мне казалось даже прогрузиться толком не успевали. а когда в филиале всего 20 мбит канал и таких девочек штук 5 (сотрудников человек 100) - они забивают весь канал под чистую

upcFrost ★★★★★ ()
Ответ на: комментарий от anc

Так а iproute2 зачем придумали? Балансировку можно настроить.

смотря на каком оборудовании. там был основной косяк в чудесном творении компании DreyTek. если вдруг будешь халтурку брать и увидишь это слово в спеке - не бери, нервы дороже. потом уже когда нормальное поставили - стало норм, там была даже интеграция с AD чтоб прям по юзверю фильтровать для компов с вендой.

upcFrost ★★★★★ ()
Последнее исправление: upcFrost (всего исправлений: 1)
Ответ на: комментарий от upcFrost

Спасибо за информацию! Запомню.

anc ★★★★★ ()
Ответ на: комментарий от upcFrost

пользовалась одна конторка в филиале - нервов не тратили драйтеки. Я бы даже сказал, что наоборот. Поставил и забыл. Там вроде как можно было особо «опасным» девушкам было подрезать скорости.

Rockon ()
Ответ на: комментарий от beastie

Дошли руки, установил. Завтра буду смотреть, что там. Пока чутка почитаю про него. Так, на вскидочку - научить его резолвить днс сайтов то можно?)

Rockon ()
Ответ на: комментарий от Rockon

нервов не тратили драйтеки. Я бы даже сказал, что наоборот. Поставил и забыл

от серии зависит. серия 2ххх (типа сохо) вполне ничего так в плане надежности в качестве роутера на 10 человек. серия 3ххх что под стойку - ад и погибель. не, когда опять же 10 человек сойдет. а вот подними на ней 30 IPsec'ов (GRE там кастрат, только с другими такими же пашет нормально, и то отваливается на каждый чих). оно будет падать в прямом смысле каждый день. тупо виснуть.

и кстати, я проверял - я могу эту штуку положить в ноль обычным браузером/curl'ом, тупо обновлять главную непрерывно. ляжет через 30 секунд даже пустой. если от одного потока не ляжет - от двух точно загнется.

Там вроде как можно было особо «опасным» девушкам было подрезать скорости.

можно, но только по src ip. т.е. если я хочу зарезать ей вконтактег до 56к и оставить только рабочую сеть на полную - хрен, не выйдет.

upcFrost ★★★★★ ()
Последнее исправление: upcFrost (всего исправлений: 1)
Ответ на: комментарий от upcFrost

драйтек в качестве замены всяких длинков для маленьких филиалов - лучшее решение. Но мы ушли от темы. Трафик я вижу (и кстати мне нравится,как реализовано, все достаточно простенько), но чую я, что нужен скрипт, что будет логи «переделывать», меняя адреса с 80 и 443 портом на их днс. Напоминаю, задача увидеть, что юзер из сети смотрит контактик. Вопрос открыт =\

Rockon ()
Ответ на: комментарий от upcFrost

забыл добавить, инет то режется, но туннели там вроде как не трогались

Rockon ()
Ответ на: комментарий от Rockon

драйтек в качестве замены всяких длинков для маленьких филиалов - лучшее решение.

микротик лучше. цена не сильно выше, зато умеет тот же ospf.

Но мы ушли от темы.

да не боись, ТС увидит :)

забыл добавить, инет то режется, но туннели там вроде как не трогались

трогались, все подряд режет. вернее все где src ip подходящий

upcFrost ★★★★★ ()
Последнее исправление: upcFrost (всего исправлений: 1)
Ответ на: комментарий от anonymous00

Как на счёт ложных срабатываний из-за:

Виджетов авторизации через соц.сети Кнопки лайков для соц.сетей Картинки и видео из соц.сетей

А это и не важно, конечно такой трафик будет. Но одно дело - подгрузить беседу из вк, другое дело - смотреть новости\анимацию с вк(каждая гифка весит в среднем от 3мб, будет заметно)

Rockon ()
Ответ на: комментарий от Rockon

Толсто :) Я ТС

а точняк :) а про драйтеки - не, блин, если выбирать между вигором 3300 за 30к и микротиком за те же бабки - только микротик. а то вот был у нас роутер HP, он умел DVPN (аналог DMVPN от сиськи). работает это добро через OSPF. ну и как я в фул-меш зацеплю вигор? он же кроме ipsec нихрена не умеет (не надо про gre, там все грустно с ним). на микротике поднимается на раз-два. плюс надежность работы. плюс хоть какая-то поддержка vlan и тэгирования (то что в вигоре еще хуже). плюс мировая фича hotspot. плюс нормальный фаервол.

вигор - это ад и китай. заменить им dlink - ну, порты гореть не будут. но радости это не сильно прибавит, особенно когда больше 5 точек в фул-меш надо ставить.

о, кста, раз ты ТС :) микротик же прокси умеет. зачем тебе сквид? даже пример с пейсбуком есть, просто правило вместо deny надо типа log или что там есть. http://wiki.mikrotik.com/wiki/Manual:IP/Proxy

upd: а, не, там только allow-deny. ну тогда редирект на страницу-сниффер, и оттуда редирект куда хотели, редиректы умеет. ну или еще проще - смотря что он там в кэш пишет про каждый hit. скорее всего src ip тоже записывает.

upcFrost ★★★★★ ()
Последнее исправление: upcFrost (всего исправлений: 3)
Ответ на: комментарий от upcFrost

Не поверите - я уже увидел 443 порты, как раз то, что надо. Осталось придумать, чем там резолвить днс. Я думаю, что к черту все скрипты, надо научитьего через пхп это делать

Rockon ()
Ответ на: комментарий от Rockon

Осталось придумать, чем там резолвить днс.

вот потому я и говорю микротиковую родную проксю юзать, она умеет резолвить сама

upcFrost ★★★★★ ()
Ответ на: комментарий от upcFrost

Считалка огонь, я её на пару деньков оставлю крутится, посмотреть, сколько она схавает места на диске. Но мне надо видеть чертовы днс, кто там в вк, фейсбуки лазил.. И сделать на это фильтр..

Rockon ()
Ответ на: комментарий от Rockon

Но мне надо видеть чертовы днс, кто там в вк, фейсбуки лазил.. И сделать на это фильтр..

ну, ты выгрузить ее можешь? если да - накатай на том же пузоне парсер, который будет брать строку, брать dst ip, запрашивать PTR-запись и пихать ее вместе с src ip в соседний файл. можно кэшировать в переменную чтоб не лазить для повторяющихся адресов. а фильтр - ну так там же как раз dst-host=www.facebook.com и есть фильтр. кстати так даже и запись не нужна

upcFrost ★★★★★ ()
Последнее исправление: upcFrost (всего исправлений: 2)
Ответ на: комментарий от upcFrost

вот потому я и говорю микротиковую родную проксю юзать, она умеет резолвить сама

с L7 можно только блочить. А такой вариант не подходит, ибо есть такая профессия(например) HR менеджер - им то как раз нужны соцсети. К тому же я как раз хотел поднять считалку трафика, ибо не было даже этого.. Теперь будет. Но если научить резолвить не получиться - придется искать что-то еще. Для этого и создан данный топик..

Rockon ()
Ответ на: комментарий от Rockon

есть такая профессия(например) HR менеджер - им то как раз нужны соцсети.

всем deny, allow только по служебке

upcFrost ★★★★★ ()
Ответ на: комментарий от upcFrost

ну, ты выгрузить ее можешь?

Мне это вообще не нужно, это нужно начальству. Что бы они, не отрывая пуза, могли иногда видеть, кто же там в вкшечку заходил на буднях. Не буду же я им парсер для такого писать, мне мониторинг нужен, а на их желания мне чихать, они только время отнимают от нормальной работы. Так что я совмещаю сейчас то, что мне нужно + инструмент для начальства

Rockon ()
Ответ на: комментарий от upcFrost

всем deny, allow только по служебке

Нет) Так и было сделано изначально, правда просто всем. Сделано до меня, я же, предложив такой вариант, получил отказ. Мол хотим видеть, кто куда ходит (видимо все же не только соц сети нужны).

Rockon ()
Ответ на: комментарий от Rockon

Мне это вообще не нужно, это нужно начальству.

кто б сомневался.

Не буду же я им парсер для такого писать, мне мониторинг нужен,

ну, опять же - сделать короткий скрипт на пыхе/ноде/рельсах/сишечке (если ты эдик), который будет выцеплять счетчики с разными dst-host через api микротика, вырезать из них все кроме src ip, и отображать на странице.

парсер в любом случае придется делать. не текстовый же им файл ты сунешь. тут уж либо писать самому, либо субподряд (а это обычно головняк не меньше чем самому сделать)

upcFrost ★★★★★ ()
Последнее исправление: upcFrost (всего исправлений: 1)
Ответ на: комментарий от upcFrost

пока что я нашел по этому вопросу: https://sourceforge.net/p/nfdump/mailman/nfdump-discuss/thread/4FB22428.90201...

Я им суну выборку по фильтру. Там впринцепи видно кое как, что кто-то залез в вк (хреновый вариант, надо по каждому ип адресу смотреть, но впринцепи если юзер сгенерирует большой траф с вк, его можно будет выследить методом тыка, хреновый, но вариант). Но фильтр явно надо дорабатывать. Если я разберусь, где в php скриптах там выдается выборка - сделаю простейшую функцию, которая будет резолвить днс прямо на полученной странице и добавлю минифильтр, который будет удалять лишнее, оставляя только нужный мне dns

Rockon ()
Ответ на: комментарий от Rockon

я по прежнему не могу править собственные посты.. Вообщем пока что из всего, что я пробовал - это единственный нормальный вариант, который и трафик мне покажет и можно хоть что-то придумать с резолвом днс. Костыли какие то плин. Вроде нужная вещь, а её не реализовали..

Rockon ()
Ответ на: комментарий от Rockon

это единственный нормальный вариант

А чем вас не устроил вариант организации нормальной инфраструктуры, вместо горожения сомнительных костылей?
Неужели выделить хост под роль прокси и настроить удалённый административный доступ на клиентах так сложно?

ArcFi ()
Ответ на: комментарий от ArcFi

хост отдельный есть. Административный доступ я уже настроил накануне (только ssh и rdp). Но я, хоть убей - не пойму, как научить кальмара, работающего на одном интерфейсе и в одной сети подменять сертификаты так, что бы в юзерских браузерах не светилась ошибка с левыми сертификатами.

Rockon ()
Ответ на: комментарий от Rockon

хост отдельный есть. Административный доступ я уже настроил накануне

Хорошо, в таком случае что мешает задать параметры прокси централизованно через переменные среды в /etc/profile.d?
Все современные браузеры и большинство клиентских приложений должны подхватывать эти настройки.

ArcFi ()

Слушайте таварищи, объясните мне, тугому. Вот в случае подмены сертификата, я понимаю как происходит просмотр того, какой web-ресурс(сайт) запрашивает пользователь. А в случае https, если подмены сертификата не было? Ведь браузер соединяется с https ресурсом по его ip адресу(т.е. предварительно получив его), устанавливает ssl соединнение с сервером по ip адресу, а дальше внутри этого ssl соединения делает get запрос определенного сайта. Так как можно узнать, какой сайт внутри ssl соединения запрашивается и блокировать это без вторжения в это ssl соединение?

rumgot ★★★★★ ()
Ответ на: комментарий от rumgot
$ dig +short www.linux.org.ru
178.248.233.6
$ openssl s_client -connect 178.248.233.6:443 2>&1 | grep "^subject=/"
subject=/OU=Domain Control Validated/OU=PositiveSSL/CN=www.linux.org.ru


Так понятно?

ArcFi ()
Ответ на: комментарий от ArcFi

кое как понятно. Вообще есть такая интересная программа intersepterNG открывшая для меня в своё время эти премудрости. Но, если можно - поразжевывайте предмет, думаю, что не только мне это понадобится. (напоминаю, сквид ставлю впервые). Я и так уже залез в мануалы сквида, но боюсь, что еще и чтение его баг трекера я не осилю. Как заставить сквид работать прозрачно, мониторя трафик и находясь в одной подсети со своими клиентами (трафик я как-нибудь заверну через микротик, без dnat и snat создавая таким образом двойной нат). Тут ведь помимо его работы надо быть уверенным в том, что в том же гугле клиента не забанят.

Rockon ()
Ответ на: комментарий от Rockon

заставить сквид работать прозрачно

Зачем это делать?
Чем вас не устраивает вот такой вариант:

# cat <<'EOF' >/etc/profile.d/proxy.sh
PROXY="http://proxy.example.org:3128/"
NOPROXY="10.0.0.0/8,127.0.0.0/8,172.16.0.0/12,192.168.0.0/16,::1,localhost,*.example.org"
export ftp_proxy="$PROXY"
export http_proxy="$PROXY"
export https_proxy="$PROXY"
export no_proxy="$NOPROXY"
export FTP_PROXY="$PROXY"
export HTTP_PROXY="$PROXY"
export HTTPS_PROXY="$PROXY"
export NO_PROXY="$NOPROXY"
EOF

ArcFi ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.