LINUX.ORG.RU

Как работают стримы в Youtube?

 


0

3

Нужно реализовать стриминговый сервис, и в связи с этим возник вопрос - а как собственно работает Youtube? Суммарный трафик по все планете составляет пол петабита(пруф: https://habr.com/ru/company/ua-hosting/blog/468143/). Даже если на один Full HD стрим отдать мегабит 5-6 и пользователей на стриме тысяч 30-40, то это уже 146 гигабит, даже с компрессией - откуда у гугла такие мощности? Так ведь помимо ютуба еще Twitch - как на это все хватает мощностей?

Ответ на: комментарий от anonymous

у них хватает мощностей.

Гигагерцев, петабайтов да, сколько будет необходимо, столько они купят. Но стримить видик по всему миру - это нужны петабайты/секунду через кишку ограниченной толщины. Думаю, они что-то типа торрентов используют таки. Т.е. мы смотрим, и раздаём друг дружке.

yvv ★★☆
()

откуда у гугла такие мощности?

Предположу, что всякий ПК, на котором установлен гуглософт, является частью ботнета корпорации добра. Но это не точно.

darayane
()

может p2p для стримов? А для простых видео cdn. Да и сервера я думаю у гугла не слабые

romanlinux ★★★
()
Последнее исправление: romanlinux (всего исправлений: 1)

Сети распространения + мультикаст.

Khnazile ★★★★★
()

Было уже обсуждение. Какой-нибудь нетфликс использует фрибсд. Вот когда видео в 60 кадров лежит и его открывают принудительно в 30 кадров там да, требуется время чтобы тытруб сообразил что надо сделать. Большинство видео в разделе популярного уже в памяти видимо закешировано и происходит отдача по минимуму. Плюс они подменяют реальные запросы тем, что им выгодно продвигать. То есть наберешь в поисковике что-то про русских мужчин, а тебе вывалится гора помоев со всеми негативными клише. Сделаешь запрос про иностранцев все будет аккуратно и красиво. Хочется корейцам продвигать видео про то как встречаться с корейцами, а не с кореянками - они и этот мусор будут в противоположные по смыслу запросы пихать, лишь бы там было что-то связанное с кореей. Реальные видео по запросам часто не найти из-за этого, если не конкретизировать более детально, хотя они существуют.

anonymous
()
Ответ на: комментарий от yvv

нужны петабайты/секунду через кишку ограниченной толщины

Я представляю это так: к главному серверу присасываются также дополнительные и сами начинают раздавать.

xomon47
()
Ответ на: комментарий от anonymous

Реальные видео по запросам часто не найти из-за этого, если не конкретизировать более детально, хотя они существуют.

Всё пытаюсь про сиське найти, а мне суют котиков. Конкретизирую детально.

yvv ★★☆
()

Про броадкастинг и CDN почитай. Когда файл видоса загружается в 40 датацентров и оттуда раздаётся ближайшим подсетям/клиентам

menangen ★★★★★
()

часто ставят своё оборудование у оконечных провайдеров, так что за ютубоконтентом далеко ходить не нужно, отдаётся из сети твоего провайдера

Harald ★★★★★
()
Ответ на: комментарий от Harald

Google US (Mountain View, California)

nslookup www.youtube.com
Server:		1.1.1.1

Non-authoritative answer:
www.youtube.com	canonical name = youtube-ui.l.google.com.
Name:	youtube-ui.l.google.com
Address: 172.217.168.206
Name:	youtube-ui.l.google.com
Address: 216.58.208.110


Сервер видео (взял из инспектора браузера):
nslookup r5---sn-5hnekn7s.googlevideo.com
Server:		1.1.1.1

Non-authoritative answer:
r5---sn-5hnekn7s.googlevideo.com	canonical name = r5.sn-5hnekn7s.googlevideo.com.
Name:	r5.sn-5hnekn7s.googlevideo.com
Address: 74.125.100.42

У меня европейский VPN, а DNS 1.1.1.1. Видео не очень популярное взял.
Наверное, поэтому youtube так тормозит. Из Америки в Россию через Европу.

xomon47
()
Последнее исправление: xomon47 (всего исправлений: 2)

Edge computing. Гугли что такое satellite (не тот что в космосе)

vertexua ★★★★★
()
Ответ на: комментарий от WitcherGeralt

Не, ну я понимаю, что у таких контор есть датацентры на каждом континенте, но в каждом мухосранске вряд ли. А смотреть котиков и сиськи все хотят.

yvv ★★☆
()
Ответ на: комментарий от yvv

В статье, кстати, упоминается, что роскомпозор за кеш наезжал на провайдеров, не знаю чем закончилось. Если его в РФ действительно запретили, то чудо-чудное, но УМВР. Видимо, и одних ДЦ достаточно.

WitcherGeralt ★★
()
Последнее исправление: WitcherGeralt (всего исправлений: 1)

Ого, местные специалисты видимо не слышали про ggc. Зато сколько дебильных теорий про раздачу торрентом…

anonymous
()

У гугла кеши у провов стоят и прочие распределения и федерации. Никто через одну точку такой трафик не гоняет.

ya-betmen ★★★★★
()
Последнее исправление: ya-betmen (всего исправлений: 2)
Ответ на: комментарий от anonymous

Зато сколько дебильных теорий про раздачу торрентом…

Почему дебильных? Торрент он как бы и предназначен для этого. Я был бы ничуть не удивлён, если гугл его использует.

yvv ★★☆
()
Ответ на: комментарий от ya-betmen

Речь идет о стримах, с видео все понятно, они не в реальном времени. За 30-40 секунд что-ли это все кэшируется на другие дата-центры? А некоторые стримы и с более низкой задержкой.

BrightYC
() автор топика
Ответ на: комментарий от yvv

Уже давно подавляюще большая часть просмотров на ютубе происходит с мобильных устройств. C мобильным интернетом, c батареями.

Нет, это никуда не годится, даже если отбросить сами по себе проблемы со peer-стримингом.

WitcherGeralt ★★
()
Последнее исправление: WitcherGeralt (всего исправлений: 1)
Ответ на: комментарий от BrightYC

Ну естественно, у тебя 5000 человек смотрят стрим на одном прове, понятное дело что выгоднее залить ему кеш один раз и не гонять все это через сеть до дальнего сервака.

ya-betmen ★★★★★
()
Ответ на: комментарий от WitcherGeralt

В статье, кстати, упоминается, что роскомпозор за кеш наезжал на провайдеров, не знаю чем закончилось

ЕМНИП дело было в том, что гугл поставлял провайдерам свои кастомные сервера с кучей проприетарного железа и софта. Пару лет назад какой-то зоркий глаз из госорганов это заметил и потребовал, чтобы эти девайсы прошли сертификацию. Что они, судя по прекращению наездов, и сделали.

Lrrr ★★★★★
()
Ответ на: комментарий от BrightYC

Ну миллионов может и не понадобится, но тысячи может быть. Можно купить серваки с толстым каналам у провов где у тебя 90% ца и намутить похожую конструкцию, если ты не гугель то закрывать весь мир смысла то нет.

ya-betmen ★★★★★
()

Ну ладно гугл, а почему pornhub, watchmygeirfleind, xvideo и т.д так хорошо показывают hd видео? У них тоже договорняк с провайдерами по всему миру?

yvv ★★☆
()
Ответ на: комментарий от yvv

Ну ладно гугл, а почему pornhub, watchmygeirfleind, xvideo и т.д так хорошо показывают hd видео? У них тоже договорняк с провайдерами по всему миру?

У меня порнохаб не особо хорошо работает. Половина видосов тупит.

urxvt ★★★★★
()
Последнее исправление: urxvt (всего исправлений: 1)

Плохо работают, ибо там оптимизации и усёр за копеечку, навального вообще не выдерживают, когда 100000 смотрят. У твича, правда, ещё хуже иногда, лаги, потери, всё вот это вот. Лучше всех работает mixer и, почему-то, goodgame.

anonymous
()

У них датацентры и кеширующие сервера по всему миру... А торрентов они как огня боятся, потому как если они развитие получат, то они без кормушки рискуют остаться и будет децентрализованный видеохостинг...

peregrine ★★★★★
()
Последнее исправление: peregrine (всего исправлений: 1)
Ответ на: комментарий от peregrine

А торрентов они как огня боятся, потому как если они развитие получат, то они без кормушки рискуют остаться

а причем тут торренты и ютуб?

xperious ★★
()
Ответ на: комментарий от xperious

Речь о видеохостингах, основанных на торрент технологии, по типу https://en.wikipedia.org/wiki/PeerTube Это позволит защититься от лишних удалений, хотя цензура все равно возможна и бзики авторов, наверное.

xomon47
()
Последнее исправление: xomon47 (всего исправлений: 1)
Ответ на: комментарий от xperious

а причем тут торренты и ютуб?

Про торенты это я первый загнул. По незнанию темы. Но тут всё уже разъяснили.

yvv ★★☆
()
Последнее исправление: yvv (всего исправлений: 1)
Ответ на: комментарий от yvv

Но пиртуб есть и вполне жив, о чём выше сказал xomon4. Так что ты не сильно ошибаешься.

peregrine ★★★★★
()
Ответ на: комментарий от peregrine

Торрентов они не боятся, ибо это поделки пионеров с трафиком в миллионную часть. Да и без рекламы качать такие объёмы никто не будет. На обычных то торрентах иждивенничают всякие popcorntime. А в случае с прямыми трансляциями работает только мерзость типа sopcast и acestream, облепленные таким шлаком, что по сравнению с ними ютуб просто замечательный.

anonymous
()
Ответ на: комментарий от commagray

На mixer есть траффик, с twitch не сравнить, но майки пока качество держат. Goodgame всегда был приятнее, но фашистский amazon зарешал, тут уже поздно. А его разрабы забили, и похоже нишу себе не ищут, скоро у него траффик будет, как у какой-нибудь livacha.

anonymous
()
Ответ на: комментарий от peregrine

Не, на торрентах рекламу впаривать сложно. Видосы держать дорого и не окупится без рекламы. А стримеры живут за счёт рекламы шлака - рулетки, букмекеры, изредка компьютерное железо. Даже если комьюнити сумеет запилить системы донатов(сейчас там смешные бабосы) это не привлечёт орущий даунов и смотрящих их школьников, а значит и конкуренции не будет.

anonymous
()
Ответ на: комментарий от anonymous

Не, на торрентах рекламу впаривать сложно

Мы об одном и том же говорим, если ты внимательно перечитаешь мои посты, я с этим не спорю. Но если начать развивать торрент технологию, то у гугла кормушка сама убежит.

ЗЫ

Стримеры живут со смешных донатов и в надежде на них + развитую медийку. Мало у кого с ютуба или твича достаточно денег капает, чтобы донаты от сотни живых юзеров (не ботов) перекрыть. Сходи на стримы что-ли и посмотри у тех, кто ботов не накручивает и имеет около сотни зрителей суммы донатов и сравни их доход за неделю с донатов и рекламы.

peregrine ★★★★★
()
Последнее исправление: peregrine (всего исправлений: 2)
Ответ на: комментарий от anonymous

Впрочем, если ты имел ввиду не комьюнити драйвен, а конкурентов с баблом, типа диснея, то да - держать всё на своих серверах куда безопаснее и удобнее гуглу.

anonymous
()
Ответ на: комментарий от peregrine

Почти никто из фултайм стримеров не получает от донатов больше или столько же, чем от партнёрки+реклама. Зарабатывающих десять тысяч рублей в месяц я не беру. Кроме шлюх с onlyfans, и пары успешных человек с patreon.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.