LINUX.ORG.RU

Архитектура YouTube

 , , , ,


0

0

Иван Блинков выполнил перевод статьи, посвященной устройству высоконагруженной системы, лежащей в основе популярного сервиса YouTube. На этот раз речь ведется об архитектуре сервиса YouTube, с которого ежедневно загружают более 100 миллионов видеороликов.

Основой этой системы служит LAMP, где в роли буквы P выступает Python, для отдачи видео используется lighttpd, а балансировка нагрузки осуществляется средствами NetScalar.

>>> Архитектура YouTube



Проверено: Shaman007 ()

>Основой этой системы служит LAMP, где в роли буквы P выступает Python

O_O Я знал!

anonymous
()
Ответ на: комментарий от anonymous

> Ну если L - это все же линукс кто тогда скрываеться под буквой А ?

А ты сходи по ссылке и узнаеш

fyrer
()
Ответ на: комментарий от dk-

Спасибо! Мне очень интересно было прочитать и понять, сколько еще предстоит узнать впереди и что невозможного нет! :)

Shalakhin
()
Ответ на: комментарий от anonymous

>кто тогда скрываеться под буквой А ?

anonymous

sdio ★★★★★
()
Ответ на: комментарий от Quasar

Блин пришлось идти по ссылке :(

Получаеться lighttpd под питоном в связке с wsgi/scgi/fastcgi
хуже Апача что ли ? .... не знал :(

P.S. Так и не понял зачем тама Апач то ...
--
mx

anonymous
()

Хочу прояснить одно противоречие в статье.

1) В роли HTTP-сервера для работы с видео используется lighttpd:
– Он способен дать фору Apache в плане производительности
предоставления статического контента;

2) Некоторые проблемы наблюдаются в связи с работой с большим
количеством маленьких объектов: [...]
– Попытки использовать lighttpd также не завершились успехом:
однопоточный режим не справлялся с задачей, а многопоточный требовал
отдельного кэша для каждого потока, что сводило на нет его
эффективность;

Как первое заявление стыкуется со вторым?

И ещё после пункта 2) в статье пишут:

Решением всех описанных выше проблем стала распределенная система
хранения данных BigTable от Google:
– Она позволяет избежать проблем, связанных с большим количеством
файлов, так как объединяет маленькие файлы вместе.

С файлами понятно - она помогла. Но вот как BiTable могла заменить
http-сервер - не понятно... Ведь в числе проблем указывалась
неудовлетворительная производительность http-сервера.

annonymous ★★
()

Apache стемительно теряет популярность :-)

AlannY
()

С архитектурой более-менее понятно, а вот есть ли где-нибудь описание
технологии преобразования видео-файлов различных форматов во флэш,
который они используют? Какой софт для этого используется?

annonymous ★★
()

Python рулит в общем.

anonymous
()

Ну и миниатюры ещё надо сделать... Как это делается?

annonymous ★★
()
Ответ на: комментарий от anonymous

>:s/посвещенной/посвященной

ты дурак глупый? где в моем посте такое слово было?

anonymous
()

хорошая статья, еще один плюс в сторону выбора питона как языка разработки web приложений )

phasma ★☆
()
Ответ на: комментарий от phasma

>хорошая статья, еще один плюс в сторону выбора питона как языка разработки web приложений )

офигеть. покажи место в статье, на основании которого ты сделал такое заключение, а.

// ик

anonymous
()
Ответ на: комментарий от anonymous

> офигеть. покажи место в статье, на основании которого ты сделал такое заключение, а.

то место где указано, что они юзают Python + Psyco) хотелось бы побольше конечно информации о разработке масштабируемых высоконагрузочных приложениях ...

phasma ★☆
()
Ответ на: комментарий от anonymous

Может это :

...
Python предоставляет быстроту и гибкость в процессе разработки и развертывания. Этот факт является очень актуальным, если учесть кто является их конкурентами.
...

или

...
psyco, динамический компилятор Python → C, использует JIT подход к компилированию для оптимизации внутренних циклов
...

?

--
mx

anonymous
()
Ответ на: комментарий от anonymous

да нет, это уже всем известно и [:||||:], просто старый движек с использованием регистрглобалсов похапэ по сравнению с Python + Psyco + memcached это просто реактивный самолет )

phasma ★☆
()

вероятно что LAMP is Lighttpd_Apache_Mysql_Python Наверно апач используется как backend , а lig* фронтэндом

fury3
()

> psyco, динамический компилятор Python → C

В какое это С psyco динамически компилирует? o_O аффтар не шарит JIT?

Farcaller ★★
()

За попытки воспрепятствовать сохранению роликов - низачот им.
Правда, DownloadHelper-у пофигу их попытки :)

KUser
()
Ответ на: комментарий от cobold

> ffmpeg конечно, а какие еще варианты?

mencoder

anonymous
()
Ответ на: комментарий от KUser

> За попытки воспрепятствовать сохранению роликов - низачот им. > Правда, DownloadHelper-у пофигу их попытки :)

ИМХО наоборот, обычный смертный качать ничего не будет, а умный человек не будет начинать кашу со всякими судебными вмешательствами. Так все и должно быть.

kost-bebix ★★
()

Что за specificly SuSe Linux ? Нафига он им сдался на серверах? Неужели хорош?

kost-bebix ★★
()
Ответ на: комментарий от kost-bebix

>ИМХО наоборот, обычный смертный качать ничего не будет
Этот плагин один из наиболее популярных у Firefox, так что доступен всем, и простым смертным.

>а умный человек не будет начинать кашу со всякими судебными вмешательствами.

Но всегда сохраняется возможность эту кашу начать, т.к. этот plugin всегда можно назвать попыткой обхода DRM.

И вообще непонятен смысл ограничения: если ролик с их ресурса можно будет свободно скачать что, к ним перестанут заходить? Нет, не перестанут
Перестанут публиковать ролики? Нет, все знают что можно обойти защиту, да и тот кто решил выложить скорее всего не против того чтоб сохраняли, раз решил опубликовать.
Просто из любви к DeRьMу поднагадили пользователям.

И такой маразм всё чаще можно видеть, вредный и бесполезный

KUser
()

Это уже давняя новость. Питон, в том числе на таких примерах, себя явно отличным инструментом зарекомендовал. Руби-молодняк и жава-быдло закрыли быстро это окошко чтобы мозг не взорвался.

anonymous
()
Ответ на: комментарий от KUser

> Просто из любви к DeRьMу поднагадили пользователям.

что лучше, сделать простенькую защиту или отдать через суд куче всяких контор деньги за незаконное распространение информации ?

phasma ★☆
()
Ответ на: комментарий от phasma

Насколько я понимаю, те кто выкладывает ролики, не против их распространения.
А от исков за распространение роликов с отрывками фильмов, или ещё как нарушающих копирайт кого-то третьего DRM всё равно не спасёт. Тогда какой в ней смысл?

KUser
()
Ответ на: комментарий от anonymous

> Руби-молодняк и жава-быдло закрыли быстро это окошко чтобы мозг не взорвался.

А лиспникам можно читать?

anonymous
()
Ответ на: комментарий от troorl

Да никто не сомневался. 80% кричащих "питон мастдай" не знают питона вообще. Другие 20% знают его на уровне "как не надо писать Hello World".

anonymous
()
Ответ на: комментарий от anonymous

А вот интересный факт :

В субботу ездил в "Олимпийский" и как ни странно тама вообще не было книг по Питону. Даже РУБИ с Рельсами уже 3 книги перевели. А Питона нема :(

P.S. Давно правда продавалась Сузи ...

--
mx

anonymous
()
Ответ на: комментарий от anonymous

> А лиспникам можно читать?

Им тут все можно.

anonymous
()

Интересная статья, спасибо. Только всегда думал, что у LAMP только одно значение: Linux, Apache, MySQL, PHP.

Demon37 ★★★★
()

читал переводы этого автора, но после его "веб-сервер за два вечера" ( http://www.insight-it.ru/unix-way/unix/veb-server-za-dva-vechera/ ) - извините, накушалис.

по поводу кричащих питонистов - мои поздравления, но такая система будет приблизительно одинаково работать хоть на пайтон, хоть на рубях, хоть на брэйнфаке, дело в самом подходе. а что пайтон можно успешно использовать в продакшене это далеко не новость.

volh ★★
()

А что это за проблема с сохранением роликов? Вроде их всегда после просмотра можно найти в /tmp и сохранить куда хочешь.

shumer
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.