LINUX.ORG.RU

Как Google это делает?

 , , , ,


1

3

Недавно я листал Youtube, и в очередной раз задумался. Youtube это единственный сервис, который позволяет заливать и хранить бесконечное количество видео. Каждый может стримить и хранить тысячи своих видео. Но как такое возможно? Один стример как-то поделился, что в месяц он снимает видосов в среднем на один терабайт, и конечно же не может хранить это дома, это невозможно. Я не понимаю, в чем профит для гугла? Ведь будем честны - 90% контента на Youtube это не просто шлак, а сплошные повторы в разных интерпретациях. Тысячи людей могут залить одни и те же видео по содержанию, и разница будет минимальна. Я даже боюсь представить это число (в сотнях терабайт в день). Как, где, за какие деньги Google это делает? А физическое пространство под шкафы с дисками? Оно когда-нибудь закончится? Эта неслыханная халява закончится?

А теперь видео в 4K, а ведь на Youtube есть эксперементальная поддержка видео в 8K, и скоро это станет мейнстримом. В голове не укладывается, откуда столько места, и с чего вдруг все это бесплатно. Права и авторство на твой контент после заливки на Youtube переходят в Google? Если нет, то это магия.

Даже если взять тот факт, что со временем изобретаются новые кодеки вроде AV1, которые позволяют делать лучшее качество при большей экономии места, то это не играет никакой роли - ведь 4K и 8K уже здесь. И каждый может заливать терабайты этого шлака до бесконечности.



Последнее исправление: Maniac_with_a_saw (всего исправлений: 2)

если ютуб убыточен его наверняка финансирует амерское правительство и хранят они всё это дерьмо для обучения сильного ИИ, кто первый его создаст - будет править миром, а для этих целей никаких денег не жалко, хоть целый штат выселят и серваками заполнят

BLOBster ★★★
()
Ответ на: комментарий от anonymous

Vimeo банит пользователей без предупреждения и насовсем, если им что-то не понравится.

Youtube делает так же, банит популярных стримеров только так. Страйк может прилететь за любую хрень, а тебе потом доказывать что ты не виноват. В лучшем случае заблочат видео на твоем канале, а в худшем - тебя (вместе с миллионами твоих видосиков). Как тебе такое? Быдло активно юзает страйки, чтобы избавляться от популярных стримеров. Youtube им в этом активно помогает.

Maniac_with_a_saw
() автор топика
Ответ на: комментарий от mord0d

Ну например они удалили все видео Blender, за то что они не пользовались рекламными фичами гугола.

Но потом же вроде восстановили, не?

Maniac_with_a_saw
() автор топика
Ответ на: комментарий от WitcherGeralt

А ты не замечал, что качество видео постоянно снижается? Сейчас на некоторых не особенно популярных роликах 1080p выглядит хуже чем когда-то 360p, мыло мыльное. Это сраные VP8/9 и прочие попытки оптимизации.

Значит надо ничего не заливать, а подождать когда внедрят AV1.

Maniac_with_a_saw
() автор топика
Ответ на: комментарий от EXL

К сожалению, современная инфраструктура YouTube засекречена и детали о том, как там всё устроено, можно найти лишь обрывочные, со всяких конференций и подобного.

Если проект Youtube и правда создавался ради нейросеток и AI, то насколько опасно вещать там без вебки? Или голос тоже вкладывать опасно, вон выше пишут что все торгашам сольют, а те подделать твой голос и использовать в криминальных целях...

Maniac_with_a_saw
() автор топика

Мнения разделились на 2 лагеря:

1. «Гугл нехило зарабатывает с рекламы».

2. «Гугл убыточен, но ради ИИ вливает бабло».

Maniac_with_a_saw
() автор топика
Ответ на: комментарий от EXL

Ну спонсеры дали денег. Кладезь же!

Смотри:
Воякам - шпионаж по местности
Психологам(военным) - слабые стороны таргетированной страны
А рекламщики там давно уже живут с этих 2%, все довольны...

Deleted
()
Ответ на: комментарий от Maniac_with_a_saw

Найди середину!
Ух есть партнёры и спонсоры, так что предоставить данные учоным для них не проблема.

А кто натренирует нейросетку быстрее... того и Марс. :)

Deleted
()
Ответ на: комментарий от liberty1

на ютубе видео хранится ограниченное время

Ничего подобного. Полно старых видосов по 20 лет.

часто натыкаюсь на недоступные ютубовские видео, которые помещены в каких-нибудь старых интернет-статьях

Так это правообладатели пришли. Могли найти в твоем 30 минутном видео целых 2 секунды из своей передачи или песни. И привет!

у меня на канале одно старое видео удалили втихаря, без всяких предупреждений

Причин может быть миллион, а сотрудник гугла просто забыл написать. Они удаляют миллионы видео в день. Этим занимаются живые люди, так что не всегда это может делаться адекватно и с комментарием.

Maniac_with_a_saw
() автор топика

Так что, действительно гугл перекодировал H264 в VP9, никого не спросив, и в нем качество оказалось хуже?

Maniac_with_a_saw
() автор топика
Ответ на: комментарий от Deleted

Морозильный или консервный траулер

Не тот планктон. Офис, вот где будет нанесен первый удар. Скоро роботы научатся ютубить вводить/выводить данные из/в голос/бумагу достаточно хорошо.

DonkeyHot ★★★★★
()
Ответ на: комментарий от Maniac_with_a_saw

насколько опасно вещать там без вебки?

Ну вот тебе ситуация, для снижения налогов двадцать лет назад было легитимно использовать офшоры. Даже правильно. Уверен, что где-то кто-то этому учил. Вроде, обучающих роликов на Ютуб. Дак вот, сейчас зреет ситуация, когда за это самое могут отдать под суд (под левым предлогом), и человек 100% проиграет. Будь у нас Ютуб 20 лет назад , то это был бы компромат без возможности удаления. Это я к тому, что то, что появляется в интернете там и остаётся. Особенность Ютуб в централизации информации. Насколько опасно? Например, дочь начальника порта выкладывала фоточки жизни не по средствам в другой стране. Посколько действие происходило не в РФ, то семью приняли, после расследования всё доказали и дочка фотки больше не выкладывает, батя и матя отъехали (случай в Маями). Насколько опасно? Для нечудаков никакой опасности нет, не было, и не будет. Даже от ИИ. Например, курсы изучения тайского бокса, лол.

anonymous
()
Ответ на: комментарий от DonkeyHot

Первый удар давно нанесён, это происходит в Amazon. Дальше грузоперевозки. Многий планктон готовы выселить хоть сейчас, но ещё не придумали под это штуки с пассивным доходом. Как придумают, так сразу завалят эту деятельность для массового пользования. Чекай.

anonymous
()
Ответ на: комментарий от Deleted

Авотвкаждойбочкезатычкатроль пожаловал передёргивать.

anonymous
()
Ответ на: комментарий от Maniac_with_a_saw

А победят те, кто возьмёт и посчитает в таблице, и покажет результаты где-нибудь в Гугл-доках.

anonymous
()

как google делает это?

Постоянным пережиманием MPEG-4 видео, пока от просмотра не возникнет отвращения - тогда контент удаляется.

Заметили уже, что 4Kвидео на FHD выглядит лучше родного разрешения? Дальше будет только хуже - будет 8K видео обычной практикой воспроизводить на FullHD мониторе, лишь бы не вызывать позывы переключиться.

iZEN ★★★★★
()
Ответ на: комментарий от iZEN

Заметили уже, что 4Kвидео на FHD выглядит лучше родного разрешения?

Так ведь это обычное дело. Люди для youtube SD кодят в HD, чтобы смотреть без отвращения. Дело в том, что на таком «HD» получается выше bit/pixel, ведь новая информация не прибавилась и реальное разрешение осталось SD и кодеку легче сжимать, а битрейт выделяется как для честного HD. Конечно, это не так эффективно, как сжимать SD с битрейтом HD (все-таки пикселей больше приходится обрабатывать), но все равно эффективнее честного HD.

Так что, действительно гугл перекодировал H264 в VP9, никого не спросив, и в нем качество оказалось хуже?

Нет, он перекодировал оригинал в VP9. Там битрейт меньше, но зато кодек эффективней. По ощущениям VP9 мыльнее, но меньше заметны артефакты исходника.

то, что появляется в интернете там и остаётся

Эх, если бы...

anonymous
()
Ответ на: комментарий от anonymous

Разница спорная

А по-моему, очень наглядная. Качаешь тем же yt-dl практически любой клип в 720p и он выглядит как мыльное говнище. Такое раньше кодировали специально под телефоны с тогда ещё маленькими экранами, а сериальчики в 720p, даже сильно пережатые в попкорнтайме, выглядят на два порядка лучше.

WitcherGeralt ★★
()

Думается индекс практически всего инета занимает значительно больше места, чем труба.

vtVitus ★★★★★
()

Надо же где то данные для машинного обучения собирать.

pon4ik ★★★★★
()
Ответ на: комментарий от Maniac_with_a_saw

реальность как правило оказывается страшнее любых ужастиков

BLOBster ★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.