LINUX.ORG.RU

Как Google это делает?

 , , , ,


1

3

Недавно я листал Youtube, и в очередной раз задумался. Youtube это единственный сервис, который позволяет заливать и хранить бесконечное количество видео. Каждый может стримить и хранить тысячи своих видео. Но как такое возможно? Один стример как-то поделился, что в месяц он снимает видосов в среднем на один терабайт, и конечно же не может хранить это дома, это невозможно. Я не понимаю, в чем профит для гугла? Ведь будем честны - 90% контента на Youtube это не просто шлак, а сплошные повторы в разных интерпретациях. Тысячи людей могут залить одни и те же видео по содержанию, и разница будет минимальна. Я даже боюсь представить это число (в сотнях терабайт в день). Как, где, за какие деньги Google это делает? А физическое пространство под шкафы с дисками? Оно когда-нибудь закончится? Эта неслыханная халява закончится?

А теперь видео в 4K, а ведь на Youtube есть эксперементальная поддержка видео в 8K, и скоро это станет мейнстримом. В голове не укладывается, откуда столько места, и с чего вдруг все это бесплатно. Права и авторство на твой контент после заливки на Youtube переходят в Google? Если нет, то это магия.

Даже если взять тот факт, что со временем изобретаются новые кодеки вроде AV1, которые позволяют делать лучшее качество при большей экономии места, то это не играет никакой роли - ведь 4K и 8K уже здесь. И каждый может заливать терабайты этого шлака до бесконечности.

Права и авторство на твой контент после заливки на Youtube переходят в Google?

Полагаю, да, надо читать эти длинные тексты при регистрации в гугле и сервисах.

А вообще, контора, которая воротит миллиардами зеленых может себе позволить, тем более, тытруба приносит доход, как минимум в виде рекламы и все такое. Не было бы это прибыльно или интересно, закрыли бы, как например, гугл+.

Senjougahara ()
Ответ на: комментарий от Senjougahara

Полагаю, да, надо читать эти длинные тексты при регистрации в гугле и сервисах.

Вообще непонятно, как это происходит. А как же стримеры с вебками? Гугл присваивает их стримы себе? Там же прям на стриме видна говорящая морда. Как можно присвоить себе авторство, когда миллионы людей видят что стримит определенный чувак.

Maniac_with_a_saw ()
Ответ на: комментарий от Maniac_with_a_saw

Ты про доту слышал? Была игра такая, варкрафт, там была кастомная карта, в которую собственно 90% аудитории игры играли. А потом начались куча судов за права на эту игру. Сейчас во всех новых играх близзарда есть пункт, что весь контент созданный в рамках их продуктов является собственностью близзард.

Senjougahara ()
Ответ на: комментарий от Maniac_with_a_saw

На мой взгляд, сейчас это перспективная база по обучению «ИИ». Как гуглофото. Пример, обучение для создания панорамных фото и прочее и прочее

anonymous ()
Ответ на: комментарий от Senjougahara

Слышал, но тогда нафиг таких говноделов, близард дерьмо, пусть сами играют в свое дерьмо. Интересно, что они сделают, если я залью видео с их играми в PeerTube, на собственный сервак. Уже слышу как юристы близард ломятся в мою дверь!

Maniac_with_a_saw ()

У диска два параметра, вместимость и пропускная способность. Когда один - bottleneck, то второй параметр - становиться бесплатным. Во всех системах, во всех компаниях - все висит на пропускной способности

vertexua ★★★☆☆ ()

Было бы здорово, если бы кто-то из местных стримеров ответил, может кто-то выкладывает на Youtube свое видео. Кто-то читал лицензионное соглашение?

Например, есть популярная стримерша, она делает клипы, где шикарно косплеит и поет красивые песни из фильмов/сериалов/игр. И что же, ее творчество становится собственностью гугла? Быть не может. Значит она теперь не может транслировать свои клипы где-то еще? Ее канал забанят за это?

А если я песню сочинил свою, и выложил на Youtube? Она теперь что - не моя?

Maniac_with_a_saw ()

Кто знает, появится ли в ближайшее время альтернатива Youtube? В Vimeo (даже платной версии) есть жесткие лимиты по HDD, да и целевая аудитория там фотографы-видеосъемщики, это не то. PeerTube вряд ли выстрелит, там нужно иметь собственный сервер, а бесплатно на чужих серверах 2-5 гигов, что-то смешно.

Maniac_with_a_saw ()

Права и авторство на твой контент после заливки на Youtube переходят в Google?

7.2 Вы сохраняете все права на свой Контент, однако Вы соглашаетесь предоставить ограниченные лицензионные права YouTube и другим пользователям Службы. Эти права описаны в Пункте 8 настоящих Условий (Лицензируемые Вами Права).

  1. Лицензируемые Вами права

8.1 При загрузке или размещении Контента на YouTube Вы предоставляете:

  • в адрес YouTube неисключительную, безвозмездную лицензию, с правом сублицензирования, на использование Вашего Контента на территории Российской Федерации и других стран мира, в частности, права на воспроизведение, распространение, переработку или создание из него производных произведений, публичный показ, доведение до всеобщего сведения, а также публичное исполнение подобного Контента в связи с предоставлением Службы и иным образом в связи с предоставлением Службы и коммерческой деятельностью YouTube, включая, без ограничений, рекламное продвижение и распространение Службы полностью или частично (а также ее производных произведений) в любых медийных форматах (и по любым медийным каналам);
  • каждому пользователю Службы неисключительную, безвозмездную лицензию на территории Российской Федерации и других стран мира на доступ к Вашему Контенту через Службу, а также на использование Вашего Контента и, в частности, права на воспроизведение, распространение, переработку или создание из него производных произведений, публичный показ, доведение до всеобщего сведения, а также публичное исполнение подобного Контента в той степени, в которой это допускается функциональными возможностями Службы и настоящими Условиями.

8.2 Приведенные выше лицензии предоставляются Вами на весь срок действия Ваших исключительных прав на подобный Контент, если он не был ранее убран или удален Вами с Веб-сайта. Указанные выше лицензии на текстовые комментарии, которые Вы представляете в качестве Контента, предоставляются на весь срок действия Ваших исключительных прав на такие текстовые комментарии.

8.3. YouTube и пользователи Службы не обязаны предоставлять Вам отчетов об использовании Вашего Контента.

i-rinat ★★★★★ ()
Ответ на: комментарий от sqq

На твиче видео хранятся ограниченное время. Что-то вроде года.

На Ютубе, кажется, есть ограничения на длину стрима, типа, 48 часовое видео не зальешь.

Большинство из пунктов ютубовской лицензии связано с работой сервиса. Типа, без права модификации ты не можешь сделать превьюшку видео, поменять степень сжатия и т.п., т.к все это искажение основного оригинала. По поводу рекламы, к этому может относиться рекомендации твоего видео другим пользователям.

К тому же, судя по приведенным пунктам лицензии ты всегда можешь удалить свое видео и тем самым забрать у гугла права на него.

anonymous ()
Ответ на: комментарий от vertexua

У ютуба как раз самые высокие требования к пропускной способности. Ведь видео - самое тажёлое по критерию «количество байт за единицу времени». Требования к latency не очень большие на обычных видео, а вот на стримах latency играет гораздо бОльшую роль.

Использовать долговременную память из железа других гуглосервисов ютуб не может - где-то писали (в том числе на ЛОРе), что в случае любого сбоя в какой-то ноде вся виртуалка удаляется и накатывается свежая, с тем же контейнером. Не хранить же видео на диске, содержимое которого в случае сбоя гарантированно уйдёт в /dev/null.

Я предполагаю, что реклама с ютуба не окупает столько дисков с высочайшими требованиями и к пропускной способности, и вместимости. Скорее всего, гугловцы рассматривают это как «инвестиции в обучающие данные для наших нынешних и будущих ML проектов». Без рисков и возни с авторским правом для гугла.

Кстати, если ютуб внезапно поменяет ЕУЛУ - типа теперь все авторские права на весь контент принадлежит гуглу, то гос. регуляторы и все остальные корпорации добьются отмены такого резкого изменения правил. (иначе будет возможен троллинг а-ля «в ютубе есть реклама новой игры про Марио - теперь бренд Супер Марио принадлежит гуглу»)

arturianec100 ()
Ответ на: комментарий от arturianec100

Подумай о распределении горячих видео и тех, доступ до которых раз в месяц. О локальности горячих. И о распределенных фс

vertexua ★★★☆☆ ()
Последнее исправление: vertexua (всего исправлений: 1)
Ответ на: комментарий от arturianec100

У YouTube очень низкий битрейт (bit/pixel), но все равно это гигантские объемы, да. Говорят, youtube убыточен, но его закрытие будет катастрофой для всего интернета.

anonymous ()
Ответ на: комментарий от anonymous

Youtube явно пережимает видео. И хотя кажется, что 4K-видосы прямо таки идеального качества, но это не идет ни в какое сравнение с тем же Vimeo, где видео не пережимается. Но это сервис для фотографов-видеосъемщиков, и он по большей части платный. Но все-равно счет идет на сотни терабайт в день, и боюсь однажды халява закончится.

Maniac_with_a_saw ()
Ответ на: комментарий от Maniac_with_a_saw

Vimeo банит пользователей без предупреждения и насовсем, если им что-то не понравится.

не идет ни в какое сравнение с тем же Vimeo, где видео не пережимается

Да вроде пережимается, просто битрейт повыше и в два прохода судя по mediainfo.

anonymous ()
Ответ на: комментарий от Maniac_with_a_saw

с тем же Vimeo, где видео не пережимается.

Ну я даже не знаю. Ну возьми что ли инспектор обьектов в хроме, посмотри какое видео качается на Vimeo. Заглянь что за контейнер, что за кодек, какой битрейт

vertexua ★★★☆☆ ()

Если у тебя вопрос как он технически это делает, то ответ очевидно непрост и подразумевает большие вложения, возможно невозвратные в прямой форме. А если вопрос нахрена, то сам подумай - у него фактически единственного есть эксклюзивный доступ к поведению, реакциям, всем паттернам человеческим, просмотрам, перемоткам, и всё с планетарной выборкой для анализа. Да кому нужен сам этот мусорный «контент». Если так с птичьего полета сесть и подумать, то это наверное самое важное, что только можно иметь. Это не личные данные даже, у него сами личности записаны всех посетителей. Он же у тебя за шиворотом практически сидит и никто его оттуда не вытащит. Да похер сколько это стоит вообще. Если чему и удивляться, так это почему он еще все порнхабы значимые не скупил втихую, если не уже.

Думаю мы сейчас наблюдаем обратную волну. Телевидение десятилетиями оттачивало способы забивания мыслей в голову, но не имело нормальной обратной связи и таргетирования. Скоро гугл научит комп имитировать и обыгрывать людей не в шахматах, го и старкрафте, а в отдельных сферах жизни, а потом вероятно и в ней самой. Нвидия уже показывает пугающие результаты в имитациях реального времени. Просто представь крутой семинар, тренинг и «мужской клуб» в одном флаконе, емкость посетителей которого - миллиарды человек, и для каждого своя кабинка и индивидуальный подход.

Вангую что следующий big thing будет не одностороннее общение артист+камера->зритель+инпут, а двустороннее, как минимум камера<->микрофон, а лучше камера<->камера, где вместо человека твой собеседник, ментор и друг - гугл и прочие имитаторы. Это нужно для того, чтобы закончить всю эту картину.

anonymous ()

Откуда твой стример взял терабайт? Гугл всё сильно пережимает. Гугл продаёт хранилище за 0,007 GB Month. Т.е. Твой стример генерит в лучшем случае на 7 баксов в месяц расходов. При цене в 0.2 бакса за клик им достаточно показать 35 баннеров за месяц, чтобы отбить себестоимость.

Legioner ★★★★★ ()
Последнее исправление: Legioner (всего исправлений: 2)

Один стример как-то поделился, что в месяц он снимает видосов в среднем на один терабайт, и конечно же не может хранить это дома, это невозможно.

Серьезно? Один терабайт стоит пару тысяч. А он пусть и дальше хранит видео в ютубе, что тут может пойти не так?

Как, где, за какие деньги Google это делает?

Видосы снимают единицы, из них единицы - терабайтами. Прибыль с рекламы он получает, значит все ок. Если проблема с место и возникнет - похерить каналы школьник и ввести квоты никогда не поздно.

KillTheCat ★★★★★ ()
Ответ на: комментарий от anonymous

С ютуба гугл ещё сварит свои деньги. Как минимум там огромное количество ресурсов чтобы нейросетки на распознавание всего аудио-визуального добра учить и продавать распознанную инфу торгашам.

peregrine ★★★★★ ()

с чего вдруг все это бесплатно

Гугель получает информацию для обучения роботов. Это, должно быть, достаточно ценный ресурс, чтобы окупить диски..

DonkeyHot ★★★★★ ()
Последнее исправление: DonkeyHot (всего исправлений: 1)

Детский садик :-)

Не забываем, что и в Жужеле есть первый отдел с работником из АНБ :-)

Не далее как пару дней назад Рыжая Борода их ProHiTech плакал о том, что ролики 4К сейчас прижимают и пережимают, так что fhd всё еще рулит и педалит.

Не забываем, что АНБ, ДАРПА и прочие НАСА - заинтересованы в развитии ИИ, он будет нужен при большом количестве удаленных ТВД.

А ютубчик - просто кладезь бездонный для тренировки. За 13 лет залито современного контента, а с 2011 еще и в HD\FHD/

Deleted ()
Ответ на: с чего вдруг все это бесплатно от DonkeyHot

Ну это на очень далёкое будущее
и сдается мне, что для роботов будут проектировать живые мозговые клетки, чтобы снять вычислительные мощности на движение, а то слишком много электричества жрать все эти роботы.

Последнее видево от Бостон Динамикс только доказало малую эффективность.
Био-живые человеки те палеты с коробками в 2-5 минуты собирают, при массе коробки в 25кг. Сам таким биороботом работал 8часов/8часов. Всем пофиг, биороботов валом за проходной стоит.

Deleted ()
Ответ на: комментарий от Senjougahara

тытруба приносит доход

https://www.wsj.com/articles/viewers-dont-add-up-to-profit-for-youtube-142489...

С тех пор что-то изменилось? Судя по тому, что недавно YouTube начал агрессивно навязывать платную подписку, они до сих пор не приносят прибыли.

anonymous ()

в месяц он снимает видосов в среднем на один терабайт, и конечно же не может хранить это дома, это невозможно

ему мамка в месяц меньше двух тыщ выдает или что? потому что если больше, то уже хватит.

и каким шлаком должен быть контент, если даже сам создатель его не хранит?

t184256 ★★★★★ ()

А ты не замечал, что качество видео постоянно снижается? Сейчас на некоторых не особенно популярных роликах 1080p выглядит хуже чем когда-то 360p, мыло мыльное. Это сраные VP8/9 и прочие попытки оптимизации.

WitcherGeralt ★★ ()
Последнее исправление: WitcherGeralt (всего исправлений: 1)

К сожалению, современная инфраструктура YouTube засекречена и детали о том, как там всё устроено, можно найти лишь обрывочные, со всяких конференций и подобного.

Google’овцы раньше активно плакались, что YouTube убыточен.

https://habr.com/ru/post/376913/

И пытались выйти в 0. Кроме чудовищного по размерам дата-центра, гугл ещё покупает сервера и бесплатно раздаёт их провайдерам (даже российским) для задачи кеширования, чтобы ты мог смотреть 4K,60FPS без каких-либо лагов у себя в какой-нибудь там Колыме. Кроме того, гугл (по слухам) оплачивает провайдерам расходы на электроэнергию, связанную с этими серверами.

EXL ★★★★★ ()

Гугл неплохо на этом зарабатывает. Поэтому покупка нового оборудования и помещений для них это всего лишь затраты. Окупаемость всех затрат конечно в тайне для нас, но думаю она недолгая.
По поводу авторства то здесь чтобы понять приблизительно всю кухню нужно как минимум почитать главу 4 ГК РФ.

Ramil ★★★ ()

Ты только представь объёмы закупок дисков гуглом у производителей. И с такими объёмами цена за терик будет не просто копеечная, а суперкопеечная. Срать туда можно тоннами и бесконечно. А гугл на этом ещё и нехило заработает.

Поэтому штрафы в пару лярдов, накладываемые иногда европеоидами на гугл, это для гугла комариный укус.

Короче, у тебя неправильная оценка объёмов.

anonymous ()
Ответ на: комментарий от Deleted

доказало малую эффективность

Всё растёт, всё изменяется. Мокрушники уже находятся на своём максимуме, а железо только вчера из печки.

в 2-5 минуты

Неправильная метрика. Нужно считать, сколько штук в неделю/год. Сон-еда-отдых легко добавят 10-11 порядков, а ещё нужно отношение воспроизводства/обучения к износу посчитать.

DonkeyHot ★★★★★ ()
Последнее исправление: DonkeyHot (всего исправлений: 1)
Ответ на: комментарий от DonkeyHot

Морозильный или консервный траулер.
Биороботы почти неисчерпаемы. Вес пака изменчив от 25 до 32кг.
Если не ошибаюсь, то выхлоп с трюма по 200тонн в сутки или 100, не помню, или 100 палет в 8 часовую смену.

Deleted ()
Ответ на: комментарий от anonymous

на ютубе видео хранится ограниченное время
часто натыкаюсь на недоступные ютубовские видео, которые помещены в каких-нибудь старых интернет-статьях
у меня на канале одно старое видео удалили втихаря, без всяких предупреждений

liberty1 ()
Ответ на: комментарий от voltmod

Оригиналы тоже хранятся. Скачать их можно через бекап-сервис Google Takeout. И это логично, а иначе получается сжатие в новые форматы (VP9) с пережатки. Так что после «ужатия» размер еще увеличится.

anonymous ()
Ответ на: комментарий от WitcherGeralt

Это сраные VP8/9 и прочие попытки оптимизации

VP9 сраный, но H264 потоки никуда не делись. Хотя иногда у VP9 больше битрейт.
Лет 5 назад с введением DASH на YouTube перекодировали все H264 в меньший битрейт, однако с более тяжелыми настройками кодирования (CABAC, 3 Ref вместо 1). Разница спорная. Старые H264 потоки (только 360p и 720p) иногда еще доступны через youtube-dl.

VP8 есть в настоящее время только 360p и среди 360p у него самый большой битрейт.

А ты не замечал, что качество видео постоянно снижается?

В общем да. Битрейт как минимум. H264 > H264 Low bitrate > VP9 > AV1

anonymous ()