LINUX.ORG.RU

Октябрьская встреча PostgreSQL-сообщества: про высокие нагрузки от разработчиков Skype и myYearbook.com

 , , , ,


0

0

На следующей неделе, 6 октября — в понедельник, в Москве состоится очередная встреча Российского PostgreSQL-сообщества. Мы постарались сделать её максимально интересной и пригласили специальных гостей — всемирно известных экспертов:

  • Аско Оя (Asko Oja), Skype
  • Марко Креэн (Marko Kreen), Skype
  • Гевин Рой (Gavin Roy), myYearbook.com

Они расскажут о производительности и масштабировании PostgreSQL-приложений, о своем опыте использования PostgreSQL под гигантской нагрузкой, а также ответят на вопросы аудитории.

Аско и Марко являются основными разработчиками баз данных компании Skype, крупнейшего мирового оператора, оказывающего услуги голосовой связи через Интернет. Ядром их системы является СУБД PostgreSQL, которая рассчитана на 1 млрд. пользователей (уже сейчас она содержит 350 млн.) и выдерживает действительно огромные нагрузки: 10-15 млн. пользователей онлайн, >20 тыс. транзакций в секунду по десяткам терабайт реляционных данных, не говоря уже о хранилище данных для аналитических запросов. Гевин является техническим директором myYearbook.com — третьей по популярности и самой быстрорастущей американской социальной сети. Он поделится своим опытом создания крупных веб-приложений на основе PostgreSQL.

Как всегда, вход свободный, но из-за пропускного режима и ограниченного количества мест требуется предварительная регистрация.

Встреча проводится при поддержке клуба «Бизнес в стиле .RU», начало в 19:00 6-го октября, место проведения: ул. Мясницкая, д. 20 (подробная информация — при регистрации). Для тех, кто не сможет присутствовать лично, планируется прямая видео-трансляция.

Обсудить грядущую встречу, задать заранее вопросы гостям можно здесь или на новом форуме экспертов PostgreSQL.

Приглашаем всех желающих!

>>> Обсуждение



Проверено: Shaman007 ()
Последнее исправление: maxcom (всего исправлений: 1)

Скорее всего приду послушать.

phasma ★☆
()

Кстати, на встрече обещал быть Илья Сегалович -- один из основателей "Яндекса", ныне директор компании по разработке. Ему тоже интересно послушать про такие нагрузки из уст разработчиков Skype.

Postgresmen
() автор топика
Ответ на: комментарий от anonymous

после встречи на сайте "Постгресмена" будут выложены все показанные слайды и видеоматериалы. если кто-то может помочь со стенограммой, будем очень признательны: все о ней просят, но сами мы пока организовать ее не в состоянии, к сожалению.

Postgresmen
() автор топика

2Postgresmen: может я не совсем по адресу... может глупая идея, но как насчет того чтобы ввести в PostgreSQL новый тип FLAG который был бы аналогом bool но хранил бы (отображал) 0/1 и допускал с собой операции типа sum()/count() ? Как я понимаю такой тип также прекрасно бы подошел для планируемых bitmap индексов.

Я понимаю что подобное можно делать через bool (sum(CASE WHEN flag_xxx='true' THEN 1 ELSE 0 END) - костыли, через integer - нет контроля диапазона, через bit (sum(flag_xxx::integer)) - костыли, но все это как-то не нативно, а необходимость в таком типе лично у меня есть давно...

Еще очень бы хотелось увидеть в PostgreSQL возможность добавлять в таблицу поле не в конец существующих полей, а опционально после конкретного поля (AFTER в mysql).

xtron
()
Ответ на: комментарий от ntoo

будет немножко доклада с Highload, немножко из платного мастер-класса (он состоится 8 октября после Highload). также будет длинная (надеюсь) Q&A-сессия. словом, мы хотели дать возможность пообщаться с такими интересными людьми не только в рамках платных событий, но и на свободной "камерной" встрече. на Highload из-за огромной аудитории у вас не будет возможности так тесно с ними поговорить.

по-моему мнению, даже нескольких встреч со скайповцами и Гевином недостаточно, чтобы узнать у них все секреты.

Postgresmen
() автор топика
Ответ на: комментарий от xtron

xtron, спасибо за идеи. если возможно, продублируйте их на наш форум http://forum.postgresmen.ru мы их собираем и передаем Брюсу Момджану, координатору разработки PostgreSQL. из таких пожеланий он делает TODO-айтемы и они с большой вероятностью появляются в новых релизах PostgreSQL. все по-настоящему.

Postgresmen
() автор топика

Группа канадских исследователей нашла доказательства того, что компания Tom-Skype, совместное предприятие Skype и Tom Online, которое управляет популярным VoIP-сервисом Skype в Китае, просматривает и передает на публичные серверы текстовые чаты и сообщения своих пользователей, где содержится разного рода политический контент.

В докладе говорится, что специальная программа позволяет раскрывать миллионы записей с личной информацией китайских пользователей Skype, включая не только текстовые сообщения, но и голосовую связь. Эти данные хранятся на восьми серверах, которые управляются самим Skype.

Sun-ch
()
Ответ на: комментарий от Sun-ch

Да-да, появилась сегодня новость. Разработчики баз данных тут совсем не причем. Они делают так, чтобы одна из самых нагруженных систем в мире успешно работала. И только об этом и будут рассказывать. Никакой политики, словом.

Postgresmen
() автор топика
Ответ на: комментарий от Postgresmen

>xtron, спасибо за идеи. если возможно, продублируйте их на наш форум http://forum.postgresmen.ru мы их собираем и передаем Брюсу Момджану, координатору разработки PostgreSQL. из таких пожеланий он делает TODO-айтемы и они с большой вероятностью появляются в новых релизах PostgreSQL. все по-настоящему.

Отлично ! Написал на http://forum.postgresmen.ru/viewtopic.php?f=2&t=42 это и еще кое-что !

xtron
()
Ответ на: комментарий от xtron

>Еще очень бы хотелось увидеть в PostgreSQL возможность добавлять в таблицу поле не в конец существующих полей, а опционально после конкретного поля (AFTER в mysql)

а зачем такое нужно? и почему тогда не допейсать "добавить перед конкретным полем"? :) или за n-позиций после/перед?

black7
()
Ответ на: комментарий от black7

>а зачем такое нужно?

для удобства восприятия описания таблицы.
ALTER TABLE в mysql умеет:
ADD [COLUMN] col_name column_definition [FIRST | AFTER col_name ]

xtron
()
Ответ на: комментарий от xtron

> для удобства восприятия описания таблицы.

Это, конечно, красивее при ручной обработке таблиц. Возможно всё-таки прийдётся перефигачить все данные таким макросом AFTER. Уже проще самому соответсвующий INSERT...SELECT... вызвать. Но в смысле маркетинга наличие AFTER лучше.

anonymous
()

кто-то еще будет твердить о том, что PostgreSQL с;%ет у Оракла? Или что PostgreSQL не состоятелен?

dikiy ★★☆☆☆
()
Ответ на: комментарий от xtron

> bool (sum(CASE WHEN flag_xxx='true' THEN 1 ELSE 0 END) - костыли,

SELECT count(*) FROM TABLICA WHERE flag_xxx GROUP BY flag_xxx;

На мой вкус достаточно естественно. Что ещё надо? Может название flag_xxx поменять на какое-нибудь более соответсвующее условию...

ЗЫ. Капча pasting какбы подсказывает, что всемно изобретания веловипеда можно сделать копипаст из документации.

anonymous
()

Аско должён говорить по-русски, не думаю что он жил на хуторе во временя СССР, либо по крайней мере понимает, так что удачи всем собеседникам на конференции.

anonymous
()
Ответ на: комментарий от anonymous

>SELECT count(*) FROM TABLICA WHERE flag_xxx GROUP BY flag_xxx;

в сложном запросе с многими join может быть недопустимо использовать поле в where

xtron
()
Ответ на: комментарий от anonymous

>PostgreSQL-сообщества: про высокие нагрузки от разработчиков Skype

а! так это в постгрес все записывается до передачи моссаду?

anonymous
()

кто-нибудь может сказать, нахрена им postgres? они бы еще informix или oracle водрузили. насколько я понимаю, все, что нужно в skype - примитивный поиск по нескольким огромным таблицам. причем, размазать эти таблицы по любому необходимому количеству серверов и организовать эффективный доступ - скучнейшая задача ввиду очевидной примитивности модели данных.

anonymous
()

Skype - тормозная глючная поделка, пример отвратительно спроектированного продукта с низким уровнем масштабирования.

anonymous
()

Как всегда, кулуарное мероприятие для узкого круга. Как всегда материалов в интернет после этого не появится. Всё как всегда - пиару много, толку для русского интернет-комьюнити мало!

anonymous
()
Ответ на: комментарий от anonymous

Аско и Марко учили русский в школе. С тех пор в течение 15-20 лет у них не было никакой практики. По состоянию на сегодняшний день они могут понимать по-русски, но говорят с большим трудом, поэтому все равно предпочитают общаться по-английски.

Postgresmen
() автор топика
Ответ на: комментарий от anonymous

Помогите со стенограммой -- будут материалы в интернете. Вы бы предпочли чтобы не было этих встреч? Их не так легко организовывать, "Постгресмен" с них ничего не имеет, если вы не в курсе. Все держится исключительно на энтузиазме организаторов. Лучше бы вы не кидались камнями, а подключились бы к начинанию.

Сообщество от этого имеет хотя бы то, что можно прийти, пообщаться с единомышленниками и задать вопросы экспертам. Уже только ради этого стОит проводить такие встречи. К счастью, большинство посетивших встречи говорит "спасибо", а не "толку мало".

Postgresmen
() автор топика
Ответ на: комментарий от anonymous

Вы неправильно все представляете. Модель данных такой огромной бизнес-системы чрезвычайно сложна, это не 2-3 больших несвязанных друг с другом таблицы. Это и биллинг (для бизнеса, для физлиц, с кучей способов тарификации), и элементы соцсети, и аналитические системы, и поиск, и www-системы, и многое другое. Очень-очень много функциональности для 1 млрд. пользователей.

Postgres в данном случае замечателен только тем, что на его основе была построена гигантская система, стоимость которой в расчете на 1 пользователя чрезвычайно мала.

Но примечательна даже не сама архитектура Skype, а методики, которые создали ребята. Например, универсальная очередь внутри СУБД и готовый sharding.

Postgresmen
() автор топика
Ответ на: комментарий от anonymous

Если вы считаете, что линейное масштабирование -- это низкий уровень масштабируемости, то вам лучше не приходить на встречу :) А если серьезно, то большинство проектов только мечтает о линейности. В сложных системах она действительно мало у кого есть.

Postgresmen
() автор топика
Ответ на: комментарий от Postgresmen

>Сообщество от этого имеет хотя бы то, что можно прийти, пообщаться с единомышленниками и задать вопросы экспертам. Уже только ради этого стОит проводить такие встречи. К счастью, большинство посетивших встречи говорит "спасибо", а не "толку мало". Вопрос на засыпку: сколько придёт пообщаться и получить ответы на свои вопросы? А сколько по всему рунету не сможет не только прийти и пообщаться, но и даже получить материалы с этого общения? Так что действительно "толку мало"!

anonymous
()
Ответ на: комментарий от Postgresmen

> Вы бы предпочли чтобы не было этих встреч? Лично мне - пофигу, потому что мне от этих встреч не жарко и не холодно - я туда всё-равно не попадаю, а материалов не будет. Так что для меня и тысяч других по всей России, что есть эти встречи, что их нет.

anonymous
()
Ответ на: комментарий от Postgresmen

> Это и биллинг (для бизнеса, для физлиц, с кучей способов тарификации), и элементы соцсети, и аналитические системы, и поиск, и www-системы, и многое другое.

все это не более чем buzz-words. технически, это именно несколько очень больших, но слабо связанных между собой, таблиц. конечно, это очень хорошо, что постгрес "засветился" в таком известном проекте. только говорить об успехе как-то не очень честно. видимо, пришлось бороться с особенностями rdbms и изобретать костыли в виде всяких "универсальных очередей внутри субд".

anonymous
()
Ответ на: комментарий от Postgresmen

ничего эстонкий для меня не проблема, в любом случае приятно послушать на любом языке, главное их в эстонском офисе разыскать %)

anonymous
()
Ответ на: комментарий от anonymous

а Вы не хотите взять видео-материалы, которые будут доступны, расшифровать их и опубликовать транскрипт встречи? была бы реальная польза, а не критика без желания помочь.

anonymous
()
Ответ на: комментарий от anonymous

универсальная очередь внутри СУБД -- это далеко не костыль, а одна из best practices, хороший архитектурный прием для решения довольно широкого круга задач. вы посмотрите только на многие доклады на Highload -- гуру высоких нагрузок только и твердят об асинхронности и очередях.

что касается нескольких больших слабосвязанных между собой таблиц в Skype, то это неправда. можно разве что сказать о нескольких больших слабосвязанных подсистемах (состоящих из большого кол-ва таблиц), но как раз архитектура баз данных в Skype тем и интересна, что ребятам удалось спроектировать систему таким образом, что каждую большую подсистему можно расшардить. мало того, они утверждают, что практически любую систему можно разбить на составляющие, к которым применим sharding. вот в чем искусство.

и наконец про комментарий о борьбе с особенностями rdbms. вы опять глупости говорите, так как задача Skype состояла в том, чтобы сделать OLTP-систему (в деле замешаны деньги). то есть надежность, транзакции, восстановление после сбоев, полный ACID в общем. причем они были готовы рискнуть и сделать все на бесплатной СУБД. и постгрес здесь оказался единственным вариантом. и только в одном месте им пришлось бороться с его особенностью долго-предолго устанавливать соединения. так появился pgbouncer. но это сущие мелочи.

anonymous
()
Ответ на: комментарий от anonymous

> а Вы не хотите взять видео-материалы, которые будут доступны, расшифровать их и опубликовать транскрипт встречи? была бы реальная польза, а не критика без желания помочь.

А ну да, здорово! Конференцию, типа, мы проводим, а материалы с этой конференции пусть дядя готовит и расшифровывает. Типа мы и так послушаем, а остальные могут принимать любые удобные позы. :)

Отвечая на вопрос - нет не хочу! М.Булгаков "Собачье сердце":

— Вы не хотите помочь голодающим детям?!

— Нет. Не хочу...

— Ну почему же вы не хотите? Вы не сочувствуете детям Германии?

— Сочувствую.

— А, пятака жалко!

— Нет, не жалко.

— Тогда почему?

— Не хочу... Зина, подавай, голубушка, обедать! Вы позволите, господа?

anonymous
()
Ответ на: комментарий от anonymous

> — Не хочу... Зина, подавай, голубушка, обедать! Вы позволите, господа?

?!

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.