LINUX.ORG.RU

Архитектура YouTube

 , , , ,


0

0

Иван Блинков выполнил перевод статьи, посвященной устройству высоконагруженной системы, лежащей в основе популярного сервиса YouTube. На этот раз речь ведется об архитектуре сервиса YouTube, с которого ежедневно загружают более 100 миллионов видеороликов.

Основой этой системы служит LAMP, где в роли буквы P выступает Python, для отдачи видео используется lighttpd, а балансировка нагрузки осуществляется средствами NetScalar.

>>> Архитектура YouTube



Проверено: Shaman007 ()

Re: Архитектура YouTube

боян же?

INFOMAN ★★★★★ ()

Re: Архитектура YouTube

>Основой этой системы служит LAMP, где в роли буквы P выступает Python

O_O Я знал!

anonymous ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

Хм странная новость ...

Ну если L - это все же линукс кто тогда скрываеться под буквой А ?

-- mx

anonymous ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

> Ну если L - это все же линукс кто тогда скрываеться под буквой А ?

А ты сходи по ссылке и узнаеш

fyrer ()

Re: Архитектура YouTube

Youtube использует Mysql? o_O

Bohtvaroh ★★★★ ()

Re: Архитектура YouTube

Было очень интересно почитать....

lvv ()
Ответ на: Re: Архитектура YouTube от dk-

Re: Архитектура YouTube

Спасибо! Мне очень интересно было прочитать и понять, сколько еще предстоит узнать впереди и что невозможного нет! :)

Shalakhin ()

Re: Архитектура YouTube

Закапывайте обратно.

Quasar ★★★★★ ()
Ответ на: Re: Архитектура YouTube от Quasar

Re: Архитектура YouTube

Блин пришлось идти по ссылке :(

Получаеться lighttpd под питоном в связке с wsgi/scgi/fastcgi
хуже Апача что ли ? .... не знал :(

P.S. Так и не понял зачем тама Апач то ...
--
mx

anonymous ()

Re: Архитектура YouTube

Хочу прояснить одно противоречие в статье.

1) В роли HTTP-сервера для работы с видео используется lighttpd:
– Он способен дать фору Apache в плане производительности
предоставления статического контента;

2) Некоторые проблемы наблюдаются в связи с работой с большим
количеством маленьких объектов: [...]
– Попытки использовать lighttpd также не завершились успехом:
однопоточный режим не справлялся с задачей, а многопоточный требовал
отдельного кэша для каждого потока, что сводило на нет его
эффективность;

Как первое заявление стыкуется со вторым?

И ещё после пункта 2) в статье пишут:

Решением всех описанных выше проблем стала распределенная система
хранения данных BigTable от Google:
– Она позволяет избежать проблем, связанных с большим количеством
файлов, так как объединяет маленькие файлы вместе.

С файлами понятно - она помогла. Но вот как BiTable могла заменить
http-сервер - не понятно... Ведь в числе проблем указывалась
неудовлетворительная производительность http-сервера.

annonymous ★★ ()

Re: Архитектура YouTube

Apache стемительно теряет популярность :-)

AlannY ()

Re: Архитектура YouTube

С архитектурой более-менее понятно, а вот есть ли где-нибудь описание
технологии преобразования видео-файлов различных форматов во флэш,
который они используют? Какой софт для этого используется?

annonymous ★★ ()
Ответ на: Re: Архитектура YouTube от cobold

Re: Архитектура YouTube

Пример вызова можно? К примеру, есть видео AVC/h.264.
Что нужно сделать для его конвертации во флэш?

annonymous ★★ ()

Re: Архитектура YouTube

Python рулит в общем.

anonymous ()

Re: Архитектура YouTube

Ну и миниатюры ещё надо сделать... Как это делается?

annonymous ★★ ()

Re: Архитектура YouTube

Кто там ещё сомневался в пригодности Питона? Жабакодеры, куку

troorl ★★ ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

>:s/посвещенной/посвященной

ты дурак глупый? где в моем посте такое слово было?

anonymous ()

Re: Архитектура YouTube

хорошая статья, еще один плюс в сторону выбора питона как языка разработки web приложений )

phasma ★☆ ()
Ответ на: Re: Архитектура YouTube от phasma

Re: Архитектура YouTube

>хорошая статья, еще один плюс в сторону выбора питона как языка разработки web приложений )

офигеть. покажи место в статье, на основании которого ты сделал такое заключение, а.

// ик

anonymous ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

> офигеть. покажи место в статье, на основании которого ты сделал такое заключение, а.

то место где указано, что они юзают Python + Psyco) хотелось бы побольше конечно информации о разработке масштабируемых высоконагрузочных приложениях ...

phasma ★☆ ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

Может это :

...
Python предоставляет быстроту и гибкость в процессе разработки и развертывания. Этот факт является очень актуальным, если учесть кто является их конкурентами.
...

или

...
psyco, динамический компилятор Python → C, использует JIT подход к компилированию для оптимизации внутренних циклов
...

?

--
mx

anonymous ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

да нет, это уже всем известно и [:||||:], просто старый движек с использованием регистрглобалсов похапэ по сравнению с Python + Psyco + memcached это просто реактивный самолет )

phasma ★☆ ()

Re: Архитектура YouTube

вероятно что LAMP is Lighttpd_Apache_Mysql_Python Наверно апач используется как backend , а lig* фронтэндом

fury3 ()

Re: Архитектура YouTube

> psyco, динамический компилятор Python → C

В какое это С psyco динамически компилирует? o_O аффтар не шарит JIT?

Farcaller ★★ ()

Re: Архитектура YouTube

За попытки воспрепятствовать сохранению роликов - низачот им.
Правда, DownloadHelper-у пофигу их попытки :)

KUser ()
Ответ на: Re: Архитектура YouTube от KUser

Re: Архитектура YouTube

> За попытки воспрепятствовать сохранению роликов - низачот им. > Правда, DownloadHelper-у пофигу их попытки :)

ИМХО наоборот, обычный смертный качать ничего не будет, а умный человек не будет начинать кашу со всякими судебными вмешательствами. Так все и должно быть.

kost-bebix ★★ ()

Re: Архитектура YouTube

Что за specificly SuSe Linux ? Нафига он им сдался на серверах? Неужели хорош?

kost-bebix ★★ ()

Re: Архитектура YouTube

даже на ЛОРе кажеться было, ни тогда ни сейчас по ссылке не ходил

yurikoles ★★★ ()
Ответ на: Re: Архитектура YouTube от kost-bebix

Re: Архитектура YouTube

>ИМХО наоборот, обычный смертный качать ничего не будет
Этот плагин один из наиболее популярных у Firefox, так что доступен всем, и простым смертным.

>а умный человек не будет начинать кашу со всякими судебными вмешательствами.

Но всегда сохраняется возможность эту кашу начать, т.к. этот plugin всегда можно назвать попыткой обхода DRM.

И вообще непонятен смысл ограничения: если ролик с их ресурса можно будет свободно скачать что, к ним перестанут заходить? Нет, не перестанут
Перестанут публиковать ролики? Нет, все знают что можно обойти защиту, да и тот кто решил выложить скорее всего не против того чтоб сохраняли, раз решил опубликовать.
Просто из любви к DeRьMу поднагадили пользователям.

И такой маразм всё чаще можно видеть, вредный и бесполезный

KUser ()

Re: Архитектура YouTube

Это уже давняя новость. Питон, в том числе на таких примерах, себя явно отличным инструментом зарекомендовал. Руби-молодняк и жава-быдло закрыли быстро это окошко чтобы мозг не взорвался.

anonymous ()
Ответ на: Re: Архитектура YouTube от KUser

Re: Архитектура YouTube

> Просто из любви к DeRьMу поднагадили пользователям.

что лучше, сделать простенькую защиту или отдать через суд куче всяких контор деньги за незаконное распространение информации ?

phasma ★☆ ()
Ответ на: Re: Архитектура YouTube от phasma

Re: Архитектура YouTube

Насколько я понимаю, те кто выкладывает ролики, не против их распространения.
А от исков за распространение роликов с отрывками фильмов, или ещё как нарушающих копирайт кого-то третьего DRM всё равно не спасёт. Тогда какой в ней смысл?

KUser ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

> Руби-молодняк и жава-быдло закрыли быстро это окошко чтобы мозг не взорвался.

А лиспникам можно читать?

anonymous ()
Ответ на: Re: Архитектура YouTube от troorl

Re: Архитектура YouTube

Да никто не сомневался. 80% кричащих "питон мастдай" не знают питона вообще. Другие 20% знают его на уровне "как не надо писать Hello World".

anonymous ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

А вот интересный факт :

В субботу ездил в "Олимпийский" и как ни странно тама вообще не было книг по Питону. Даже РУБИ с Рельсами уже 3 книги перевели. А Питона нема :(

P.S. Давно правда продавалась Сузи ...

--
mx

anonymous ()
Ответ на: Re: Архитектура YouTube от anonymous

Re: Архитектура YouTube

> А лиспникам можно читать?

Им тут все можно.

anonymous ()

Re: Архитектура YouTube

Спасибо за ссылку !

amorphis ()

Re: Архитектура YouTube

Интересная статья, спасибо. Только всегда думал, что у LAMP только одно значение: Linux, Apache, MySQL, PHP.

Demon37 ★★★★ ()

Re: Архитектура YouTube

читал переводы этого автора, но после его "веб-сервер за два вечера" ( http://www.insight-it.ru/unix-way/unix/veb-server-za-dva-vechera/ ) - извините, накушалис.

по поводу кричащих питонистов - мои поздравления, но такая система будет приблизительно одинаково работать хоть на пайтон, хоть на рубях, хоть на брэйнфаке, дело в самом подходе. а что пайтон можно успешно использовать в продакшене это далеко не новость.

volh ★★ ()

Re: Архитектура YouTube

А что это за проблема с сохранением роликов? Вроде их всегда после просмотра можно найти в /tmp и сохранить куда хочешь.

shumer ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.