LINUX.ORG.RU

Архитектура Twitter

 , , flockdb, , , , , , , ,


0

2

Подробности о технической реализации и внутренней архитектуре одного из самых быстроразвивающихся интернет-проектов.

Среди используемых технологий:

  • Apache + mod_proxy
  • Ruby on Rails + Unicorn
  • FlockDB + MySQL
  • Cassandra
  • Hadoop

>>> Подробности



Проверено: svu ()

интересно. Более того, радует что самые популярные сервисы, вроде рукокниги и твитера, хоть и не нужны, но активно используют СПО.

silw ★★★★★
()
Ответ на: комментарий от silw

> интересно. Более того, радует что самые популярные сервисы, вроде рукокниги и твитера, хоть и не нужны, но активно используют СПО.

Допиленное СПО.

blackst0ne ★★★★★
()
Ответ на: комментарий от silw

> GPL же ну! все, что допилено должно возвращаться, пусть и в нечитабельном виде, как у шапки.

Ничего оно не должно если они допиленый софт не распространяют.

blackst0ne ★★★★★
()

>1358% рост аудитории за 2009 год

странно, Твиттер признали одним из ненужных интернет-сервисов. Впрочем и я тоже.

zibert ★★★
()

Буду краток

> Примерами агрегированных метрик в Twitter являются «киты» и «роботы», вернее их количество в единицу времени.

Что такое «робот»?


- Ошибка внутри Rails (HTTP 500)

- Непойманное исключение


- Проблема в коде или нулевой результат



Что такое «кит»?


- HTTP ошибка 502 или 503

- В твиттер используется фиксированный таймаут в 5 секунд (лучше кому-то показать ошибку, чем захлебнуться в запросах)


-Убитый слишком длинный запрос к базе данных (mkill)



П-ц.

vasilenko ★★
()
Ответ на: комментарий от zibert

> странно, Твиттер признали одним из ненужных. Впрочем и мнение зиберта тоже.

Fix.

anonymous
()

>обычно необходимо разрабатывать код на Java, что далеко не все умеют делать, да и трудоемко это.

вот и выросло очередное поколение...

Donnie_Darko
()
Ответ на: комментарий от Tark

>Выпад насчет джавы странно звучит, у них же все ядро на scala.

Любой выпад, что в компании, которая привлекла финансирование в размере $350 лямов, не умеют кодить на %programming_lang% звучит не странно, а абсурдно. Наверняка, есть определенные бизнес-причины, почему для MapReduce используется не Java, а что-то там еще...

Donnie_Darko
()

хотя твиттер теперь уже не так падуч, как раньше, проблемы у них всё ещё возникают регулярно

thevery ★★★★
()

Ссылку на ПЕРВОИСТОЧНИК. Не поверю, что твиттер дал эксклюзивное техническое интервью для быдлоблога.

tensai_cirno ★★★★★
()

Без описания механизмов работы вирусного маркетинга и инструкции по зомбированию хомячков статья лишена смысла

DNA_Seq ★★☆☆☆
()

ну вот =) а был недавно пых-пых срач, где просили примеры крупных проэктов не на похапе.

Komintern ★★★★★
()
Ответ на: комментарий от anonymous

Над этим вопросом давно бьются лучшие умы человечества...

pekmop1024 ★★★★★
()

Я бы на их месте постиснялся про свои технологии рассказывать, учитывая как часто они падали.

ostin ★★★★★
()
Ответ на: комментарий от anonymous

Ты не понимаешь гениальность идеи. Раньше спам распространяли на емэйлы за деньги, специально обученные люди/программы.

А теперь хомячки делают это сами, бесплатно.

queen3 ★★★★★
()

OMFG! Cassandra.. Такое монстроподобное убожище

boombick ★★★★★
()
Ответ на: комментарий от pekmop1024

> Апач в качестве фронтенда... да они жгут :)

А почему нет?

anonymous
()
Ответ на: комментарий от DNA_Seq

хыхы, точно. как в том йералаше, «без этой штуки не работает».

anonymous
()

думаю из-за рубироида они словили немало проблем

ArtemZ
()

Ух, какой срач-потенциал у темы! Руби нужен/не нужен. Кассандра монструозное поделие/произведение искусства. Скала божественна/просто очень хороша.

Zenom ★★★
()

Архитектура твиттера ужасна (впрочем, как и у популярных соц. сетей).

Dimanc ★★
()
Ответ на: комментарий от tensai_cirno

> Ссылку на ПЕРВОИСТОЧНИК. Не поверю, что твиттер дал эксклюзивное техническое интервью для быдлоблога.

Да легко, в мире инторнета возможно всё

overmind88 ★★★★★
()

Заглавие:

Ну лузеры же...

Пусть переходят на пейтон + джянго.
А там посмотрим...

anonymous
()
Ответ на: Заглавие: от anonymous

>Ну лузеры же... Пусть переходят на пейтон + джянго.

И получат то же самое. Проблемы со стабильностью - они, в первую очередь, от кривых рук, а потом уже от языка. У них, имхо, даже лисп падать будет.

anonymous
()

одного из самых быстроразвивающихся интернет-проектов

Че за twitter ваще?

o
()

Весьма познавательно, спасибо за статью.

crono
()

А вообще, по-моему, этот «социальный» пузырь уже начинает лопаться. Ну, то есть, социальные сети как явление существовали и раньше, люди так же общались, знакомились, переписывались, просто потом жж и фейсбук собрали всё воедино и назвали модным словом. А рано или поздно, мне кажется, людям надоест, что какие-то п-дарасы из США могут засаспендить ихний бложек или акааунт в твиторе, или будет какой-нибудь громкий прецедент, связанный с приватностью, и все эти централизованые монстры начнут загибаться. А так всё уже для этого готово, вон, недавно была новость про диаспору, а децентрализованный аналог твитера сделать, по-моему, вообще не проблема, разве что оно нафиг никому не надо. Прозреваю в недалёком будущем у каждого дома свой сервак размером с сигаретную пачку, на котором можно хостить и мыло, и жаббер, и бложек, и фоточки, и платить только за интернет, который и так у всех есть.

vasilenko ★★
()
Ответ на: комментарий от user_id_68054

> у Twitter хотябы есть защита от CSRF-атак для Logout!

правда это достижение самого Twitter (а не Ruby-on-Rails) :-)

...вот например в Github.Com — тоже такаяже уязвимость как в админке Django :-) [и соответственно никто не чешется]

....а в Gitorious — вообще песня :-D :-D http://gitorious.org/advanced-hello-gitorious-xss-in-title

user_id_68054 ★★★★★
()
Ответ на: комментарий от vasilenko

> будет какой-нибудь громкий прецедент, связанный с приватностью

С разморозкой. Вcuntакта с фейсбуком на стопиццот предецентов хватит, и чо?

в недалёком будущем у каждого дома свой сервак размером с сигаретную пачку, на котором можно хостить

Давно можно. Многие и обычный комп не выключают, не надо сигаретных пачек. Но что-то засилья личных почтовых серваков с фотохостингами не видать.

anonymous
()
Ответ на: комментарий от anonymous

>Давно можно. Многие и обычный комп не выключают, не надо сигаретных пачек. Но что-то засилья личных почтовых серваков с фотохостингами не видать.

Не всем позволяют каналы и провайдеры. Последние так вообще режут 80 порт почти всегда.

anonymous
()
Ответ на: комментарий от user_id_68054

>...в отличии от: http://code.djangoproject.com/ticket/9776, http://code.djangoproject.com/ticket/7989

Тоже мне уязвимость. Дефолтный view для logout работает через GET. Как будто кто-то заставляет пользоваться им. Свой пишется в момент, джанго (да и рор) - это вам не CMS, где всё гвоздями прибито.

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.