LINUX.ORG.RU

Архитектура Twitter

 , , , , , , , , , ,


0

2

Подробности о технической реализации и внутренней архитектуре одного из самых быстроразвивающихся интернет-проектов.

Среди используемых технологий:

  • Apache + mod_proxy
  • Ruby on Rails + Unicorn
  • FlockDB + MySQL
  • Cassandra
  • Hadoop

>>> Подробности



Проверено: svu ()

интересно. Более того, радует что самые популярные сервисы, вроде рукокниги и твитера, хоть и не нужны, но активно используют СПО.

silw ★★★★★ ()
Ответ на: комментарий от silw

> интересно. Более того, радует что самые популярные сервисы, вроде рукокниги и твитера, хоть и не нужны, но активно используют СПО.

Допиленное СПО.

blackst0ne ★★★★★ ()
Ответ на: комментарий от blackst0ne

GPL же ну! все, что допилено должно возвращаться, пусть и в нечитабельном виде, как у шапки.

silw ★★★★★ ()
Ответ на: комментарий от silw

> GPL же ну! все, что допилено должно возвращаться, пусть и в нечитабельном виде, как у шапки.

Ничего оно не должно если они допиленый софт не распространяют.

blackst0ne ★★★★★ ()

>1358% рост аудитории за 2009 год

странно, Твиттер признали одним из ненужных интернет-сервисов. Впрочем и я тоже.

zibert ★★★ ()

Буду краток

> Примерами агрегированных метрик в Twitter являются «киты» и «роботы», вернее их количество в единицу времени.

Что такое «робот»?


- Ошибка внутри Rails (HTTP 500)

- Непойманное исключение


- Проблема в коде или нулевой результат



Что такое «кит»?


- HTTP ошибка 502 или 503

- В твиттер используется фиксированный таймаут в 5 секунд (лучше кому-то показать ошибку, чем захлебнуться в запросах)


-Убитый слишком длинный запрос к базе данных (mkill)



П-ц.

vasilenko ★★ ()
Ответ на: комментарий от zibert

> странно, Твиттер признали одним из ненужных. Впрочем и мнение зиберта тоже.

Fix.

anonymous ()

>обычно необходимо разрабатывать код на Java, что далеко не все умеют делать, да и трудоемко это.

вот и выросло очередное поколение...

Donnie_Darko ()
Ответ на: комментарий от Donnie_Darko

Выпад насчет джавы странно звучит, у них же все ядро на scala.

Tark ★★ ()
Ответ на: комментарий от Tark

>Выпад насчет джавы странно звучит, у них же все ядро на scala.

Любой выпад, что в компании, которая привлекла финансирование в размере $350 лямов, не умеют кодить на %programming_lang% звучит не странно, а абсурдно. Наверняка, есть определенные бизнес-причины, почему для MapReduce используется не Java, а что-то там еще...

Donnie_Darko ()

хотя твиттер теперь уже не так падуч, как раньше, проблемы у них всё ещё возникают регулярно

thevery ★★★★ ()

Ссылку на ПЕРВОИСТОЧНИК. Не поверю, что твиттер дал эксклюзивное техническое интервью для быдлоблога.

tensai_cirno ★★★★★ ()

В ящике я этот триппер видел, бесполезная чепуха, джуйк и тот лучше.

anonymous ()

Апач в качестве фронтенда... да они жгут :)

pekmop1024 ★★★★★ ()

Без описания механизмов работы вирусного маркетинга и инструкции по зомбированию хомячков статья лишена смысла

DNA_Seq ★★☆☆☆ ()
Ответ на: комментарий от silw

>амые популярные сервисы

гы, ты попробуй найти веб-сервис не использующий СПО

DNA_Seq ★★☆☆☆ ()

а зачем нужэн twitter?

anonymous ()

ну вот =) а был недавно пых-пых срач, где просили примеры крупных проэктов не на похапе.

Komintern ★★★★★ ()
Ответ на: комментарий от anonymous

Над этим вопросом давно бьются лучшие умы человечества...

pekmop1024 ★★★★★ ()
Ответ на: комментарий от DNA_Seq

Именно веб-сервис? В техническом смысле? Показать?

Xellos ★★★★★ ()

Я бы на их месте постиснялся про свои технологии рассказывать, учитывая как часто они падали.

ostin ★★★★★ ()
Ответ на: комментарий от anonymous

Ты не понимаешь гениальность идеи. Раньше спам распространяли на емэйлы за деньги, специально обученные люди/программы.

А теперь хомячки делают это сами, бесплатно.

queen3 ★★★★★ ()

OMFG! Cassandra.. Такое монстроподобное убожище

boombick ★★★★★ ()
Ответ на: комментарий от pekmop1024

> Апач в качестве фронтенда... да они жгут :)

А почему нет?

anonymous ()
Ответ на: комментарий от DNA_Seq

хыхы, точно. как в том йералаше, «без этой штуки не работает».

anonymous ()

думаю из-за рубироида они словили немало проблем

ArtemZ ()

Ух, какой срач-потенциал у темы! Руби нужен/не нужен. Кассандра монструозное поделие/произведение искусства. Скала божественна/просто очень хороша.

Zenom ★★★ ()

Архитектура твиттера ужасна (впрочем, как и у популярных соц. сетей).

Dimanc ★★ ()
Ответ на: комментарий от tensai_cirno

> Ссылку на ПЕРВОИСТОЧНИК. Не поверю, что твиттер дал эксклюзивное техническое интервью для быдлоблога.

Да легко, в мире инторнета возможно всё

overmind88 ★★★★★ ()

Заглавие:

Ну лузеры же...

Пусть переходят на пейтон + джянго.
А там посмотрим...

anonymous ()
Ответ на: Заглавие: от anonymous

Re: Заглавие:

>Ну лузеры же... Пусть переходят на пейтон + джянго.

И получат то же самое. Проблемы со стабильностью - они, в первую очередь, от кривых рук, а потом уже от языка. У них, имхо, даже лисп падать будет.

anonymous ()

одного из самых быстроразвивающихся интернет-проектов

Че за twitter ваще?

o ()

Весьма познавательно, спасибо за статью.

crono ()

А вообще, по-моему, этот «социальный» пузырь уже начинает лопаться. Ну, то есть, социальные сети как явление существовали и раньше, люди так же общались, знакомились, переписывались, просто потом жж и фейсбук собрали всё воедино и назвали модным словом. А рано или поздно, мне кажется, людям надоест, что какие-то п-дарасы из США могут засаспендить ихний бложек или акааунт в твиторе, или будет какой-нибудь громкий прецедент, связанный с приватностью, и все эти централизованые монстры начнут загибаться. А так всё уже для этого готово, вон, недавно была новость про диаспору, а децентрализованный аналог твитера сделать, по-моему, вообще не проблема, разве что оно нафиг никому не надо. Прозреваю в недалёком будущем у каждого дома свой сервак размером с сигаретную пачку, на котором можно хостить и мыло, и жаббер, и бложек, и фоточки, и платить только за интернет, который и так у всех есть.

vasilenko ★★ ()
Ответ на: комментарий от user_id_68054

> у Twitter хотябы есть защита от CSRF-атак для Logout!

правда это достижение самого Twitter (а не Ruby-on-Rails) :-)

...вот например в Github.Com — тоже такаяже уязвимость как в админке Django :-) [и соответственно никто не чешется]

....а в Gitorious — вообще песня :-D :-D http://gitorious.org/advanced-hello-gitorious-xss-in-title

user_id_68054 ★★★★★ ()
Ответ на: комментарий от vasilenko

> будет какой-нибудь громкий прецедент, связанный с приватностью

С разморозкой. Вcuntакта с фейсбуком на стопиццот предецентов хватит, и чо?

в недалёком будущем у каждого дома свой сервак размером с сигаретную пачку, на котором можно хостить

Давно можно. Многие и обычный комп не выключают, не надо сигаретных пачек. Но что-то засилья личных почтовых серваков с фотохостингами не видать.

anonymous ()
Ответ на: комментарий от anonymous

>Давно можно. Многие и обычный комп не выключают, не надо сигаретных пачек. Но что-то засилья личных почтовых серваков с фотохостингами не видать.

Не всем позволяют каналы и провайдеры. Последние так вообще режут 80 порт почти всегда.

anonymous ()
Ответ на: комментарий от user_id_68054

>...в отличии от: http://code.djangoproject.com/ticket/9776, http://code.djangoproject.com/ticket/7989

Тоже мне уязвимость. Дефолтный view для logout работает через GET. Как будто кто-то заставляет пользоваться им. Свой пишется в момент, джанго (да и рор) - это вам не CMS, где всё гвоздями прибито.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.