LINUX.ORG.RU

Как прошёл FOSDEM 2021 на Matrix

 , , , ,


2

3

6-7 февраля 2021 года прошла одна из крупнейших бесплатных конференций, посвящённая свободному программному обеспечению — FOSDEM. Обычно конференция проводилась вживую в Брюсселе, но из-за пандемии коронавируса её пришлось перенести в онлайн. Для реализации этой задачи организаторы скооперировались с командой Element и выбрали чат на основе свободного протокола Matrix для построения федеративной сети коммуникаций в реальном времени, свободную VoIP-платформу Jitsi Meet для интеграции видеоконференций, и собственные инструменты для их автоматизации. Конференцию посетило более 30 тысяч пользователей, из которых 8 тысяч — активные, а 24 тысячи — гости.

Протокол Matrix построен на основе линейной истории событий (events) в формате JSON внутри ациклического графа событий (DAG): простыми словами, является распределённой базой данных, хранящей полную историю отправленных сообщений и данные участвующих пользователей, реплицируя эту информацию между участвующими серверами — ближайшей аналогичной по работе технологией может быть Git. Основной реализацией этой сети является мессенджер с поддержкой сквозного шифрования и VoIP (аудио- и видеозвонков, групповых конференций). Эталонные реализации клиентов и серверов разрабатываются коммерческой компанией Element, сотрудники которой также возглавляют некоммерческую организацию Matrix.org Foundation, курирующую разработку спецификации протокола Matrix. На данный момент в сети Matrix насчитывается 28 миллионов аккаунтов и 60 тысяч серверов.

Для мероприятия FOSDEM был выделен отдельный сервер на мощностях и при поддержке коммерческого сервиса Element Matrix Services (EMS).

В выходные работала следующая инфраструктура:

  • горизонтально масштабируемый Matrix-сервер Synapse со множеством дополнительных worker-процессов (итого 11 разных типов worker-процессов);
  • кластер для VoIP-платформы Jitsi Meet, использующийся для трансляции комнат с докладами, вопросами и ответами, и всеми другими групповыми видеочатами (одновременно функционировало около 100 видеоконференций);
  • кластер для Jibri — разработки FOSDEM для ретрансляции видео из комнат Jitsi Meet в несколько разных назначений (Jibri представляет собой запущенный на AWS headless-процесс Chromium с использованием фреймбуфера X11 и аудиосистемы ALSA, вывод которых записывается с помощью ffmpeg);
  • Matrix-бот для автоматизации создания Matrix-комнат по расписанию FOSDEM, где будут проводиться доклады и прочая активность;
  • специальные виджеты для клиента Element, например, расписание FOSDEM в правом боковом меню и список важных сообщений рядом с видеотрансляцией, фильтрующийся по количеству emoji-реакций от пользователей;
  • мосты в каждой из 666 комнат с докладом, дающие возможность пользователям IRC и XMPP писать сообщения и читать их историю (просмотр видеотрансляции был также доступен по прямой ссылке без использования Matrix и Element).

Пользователи могли зарегистрироваться на сервере FOSDEM как с помощью связки логина и пароля, так и с помощью механизма Social Login, дающего возможность войти с помощью аккаунта Google, Facebook, GitHub и прочих. Это нововведение впервые появилось именно на FOSDEM и в скором времени станет доступно всем остальным пользователям Matrix в следующих обновлениях Synapse и Element. По статистике половина пользователей зарегистрировалась с помощью Social Login.

FOSDEM 2021 на Matrix является пожалуй крупнейшей свободной онлайн-конференцией на сегодняшний день. Она прошла не без проблем (из-за неправильной конфигурации Matrix-сервера поначалу, вызывающей колоссальные нагрузки), но в целом посетители были довольны и положительно отзывались о мероприятии. И хотя никто не увидел друг друга вживую, один из главных сплачивающих элементов сообщества FOSDEM — а именно, дружеские посиделки за бокалом пива — всё равно не остался без внимания.

Разработчики Matrix надеются, что этот пример подтолкнёт людей к мысли, что они могут использовать полностью свободный стек технологий для их коммуникаций и VoIP — даже в таких крупных масштабах, как целая конференция FOSDEM.

Эта же информация со множеством подробностей и наглядной демонстрацией доступа в формате видеодоклада от главного лица и сооснователя Matrix — Мэтью Хогсона и в подкасте «Open Tech Will Save Us» с ним же.

>>> Подробности

★★★★★

Проверено: Shaman007 ()

«Разработчики Matrix надеются, что этот пример подтолкнёт людей к мысли, что они могут конфигурировать свой собственный сервер хоть и не с первого раза».

crypt ★★★★★ ()
Последнее исправление: crypt (всего исправлений: 1)

Jibri представляет собой запущенный на AWS headless-процесс Chromium с использованием фреймбуфера X11 и аудиосистемы ALSA, вывод которых записывается с помощью ffmpeg

ну и костыль. могли бы что нибудь на libwebrtc сваять а не тащить целый браузер

eternal_sorrow ★★★★★ ()
Последнее исправление: eternal_sorrow (всего исправлений: 1)
Ответ на: комментарий от commagray

Спасибо. А в более развёрнутом виде есть матеиалы? Посмотрел некоторые видео - долго и нудно. Такое легче прочитать нискосок, чем смотреть. И обсуждения всякие вырезаны, и ссылочек на обсуждаемые вопросы. В Ютубе хоть кратенькое описание и ссылка была бы, а тут тупо список видеофайлов. Я, конечно, зажрался, но всё же.

П.С. Посыпаю голову пеплом. пропустил всю конференцию...

ChekPuk ★★★ ()
Ответ на: комментарий от slovazap

софт к этим матриксам и jitsi исключительно на электроне

К матриксам есть много альтернативных клиентов (они все немного хуже элемента, но для обычного общения вполне достаточно), а в от jitsi только браузер или электрон, если не ошибаюсь.

balsoft ★★ ()
Ответ на: комментарий от alpha

Не, это то же что читать маны. Тут видео, там кратенькое расписание будущих докладов, но уже в прошлом и без ссылки на видео, обсуждений не сохранили... Не то. Надеюсь это просто пока такое.

Посмотреть на Блендеровские конфы - под видиями на ютубе краткое описание, доклад, обсуждения, ссылки, и возможность обсудить это ещё и в комментариях под видео. Это было классно. А тут... Вот кто мне теперь найдёт доклад по Опенкаскаду?

Вобщем, я рад за тех кто поучаствовал и посмотрел, а мне ничего не досталось :(

ChekPuk ★★★ ()

Протокол Matrix построен на основе линейной истории событий (events) в формате JSON внутри ациклического графа событий (DAG): простыми словами, является распределённой базой данных, хранящей полную историю отправленных сообщений и данные участвующих пользователей, реплицируя эту информацию между участвующими серверами

Просто рай для слежения за тенденцией масс, автоматического анализирования состояния и вброса ботов в клубы по интересам. Сейчас ботам приходится пердолиться с твиттером и прочим и промывать мозги там малым группам, а тут прям идеальная херня будет если взлетит.

Хотя надеюсь оно подохнет, никакой пользы от этой переусложнённой хероты нет. Вернее была бы польза, если бы это была просто подключаемая хрень для логирования всего и вся если такое действительно нужно, например википедии и подобным для отслеживания цепочки изменнений. Поднимать в здравом смысле свой сервер что-бы всё что туда попало уже невозможно было убрать тупость. Ибо всегда есть ошибки человеков.

anonymous ()
Ответ на: комментарий от eternal_sorrow

Они хранят у себя на винтах террабайты шифрованного мусора других людей который 24/7/360 просто растёт и растёт. Взять целый браузер вместо реализации наитупейшего протокола это норма ахахах

anonymous ()

Основной реализацией этой сети (matrix) является мессенджер с поддержкой сквозного шифрования и VoIP (аудио- и видеозвонков, групповых конференций)

кластер для VoIP-платформы Jitsi Meet

чёт я не понял. на matrix такое нельзя было сделать?

luntik2012 ()
Ответ на: комментарий от slovazap

Не, ты fosdem с debconf попутал. Весь debcobf пропитан лгбтшникаси, их правами и прочей ерундой. За последнее время ничего про развитие Debian нет, оно и понятно почему.

anonymous ()

(итого 11 разных типов worker-процессов)

п-ц. Нахер эти ваши масштабируемые до масштаба мамки админа локалхоста решения. Дайте что-то что можно запустить без неполового размножения с еомпьютером!

Dark_SavanT ★★★★★ ()

Разработчики Matrix надеются, что этот пример подтолкнёт людей к мысли, что они могут использовать полностью свободный стек технологий для их коммуникаций и VoIP — даже в таких крупных масштабах, как целая конференция FOSDEM.

И сами же юзаем OSX, ну потому, что «полностью свободный стек» https://imgur.com/F2GguDw

dengolius ()

Всё это очень замечательно и прекрасно. Печалит тот факт, что единственный кроссплатформенный вменяемовыглядящий и работающий клиент Jitsi, слепленный с Java, дропнули [хоть он и работает(!) пока], а вместо него воткнули какую-то срань браузерную. Я надеюсь, что для тех, кто для создания клиентов для связи использует WebRTC, JSONы и прочую ересь, есть в аду отдельный котёл с кипящим смузи.

anonymous ()
Ответ на: комментарий от anonymous

Я надеюсь, что для тех, кто для создания клиентов для связи использует WebRTC, JSONы и прочую ересь, есть в аду отдельный котёл с кипящим смузи.

Как-то ты слишком суров. Люди используют везде WebRTC не потому, что он плохой или им хочется, а потому что его легко воткнуть везде. Стоит ли винить человека, что он пошёл простым путём?

anonymous ()
Ответ на: комментарий от alpha

мы были в субботу весь день. перед обедом очевидно все обвалилось, пропали, отпала трансляция в каналах, только на сервере осталась. в остальном в принципе норм, если не считать охрененной практики обрыва диалога и начала трансляции следующего видео. выходит что ты как бы либо обрываешь заранее разговор и сидите ждете пока выкинет, ну или говорите и вас посто отбрывает.

ну лично мне формат онлайн конференций не понравился вообще. какое-то это бессмысленное действие. ни с кем не поговорить нормально, презентации все выходят скомканные, плюс подготовка. я в принципе день убил на запись, и очень не доволен конечным результатом.

sartakov ()
Ответ на: комментарий от sartakov

ну лично мне формат онлайн конференций не понравился вообще. какое-то это бессмысленное действие

Приходи на devconf.cz на этих выходных. Там другая платформа и будет всё немного иначе, можно посмотреть и примериться к тому как это может быть организовано по-другому.

Предварительная запись доклада имхо вообще не очень подходящий формат. Это тяжело для докладчика, это обычно очень заметно для слушателя, и т.п. Я на Fedora Nest например докладывалась вживую, и вопросы сразу интерактивно брала из чата.

То есть QA был тоже с видео и звуком. Вопросы из чатика, а ответы вживую.

На FOSDEM они всё-таки перестраховались с видеоконференцией. И сделали всё чтобы был fallback если интеграция не сработает. Поэтому получился стрим от чатов отдельно.

alpha ★★★★★ ()
Ответ на: комментарий от Airin

А какая платформа на devconf.cz?

hopin.com

Red Hat её проспонсировал, и мы там уже организовывали и Fedora Nest, и Fedora Release Party, и CentOS Dojo.

И попутно, если вы готовили что-то к фосдему, есть ли записи выступления и QA?

На FOSDEM у нас был Fedora-стенд, то есть просто комната со свободным чатом и открытой видео-конфой для разговоров на общие темы без записи и с кучкой promo-видюшек https://video.fosdem.org/2021/stands/fedora/

alpha ★★★★★ ()
Ответ на: комментарий от anonymous

Это не обвинение человека, это претензия не к человеку, это претензия к программистам, это та категория людей, от деятельности которых зависит благополучие и удобство других, причём массово, так что нет, тут не всё просто.

Это вот если к примеру бабка попросила внука покормить порося, хрючево поросям сделал он на отвали картоху не помыл, прям в кожуре кинул - а чо, они и так сожрут - они же свиньи, пощёл по простому пути так сказать, и если логически поразмышлять, так-то свиньи жрут с земли в природе, и с песком и нечищенное и немытое, и вполне логично списать на то, что всякие дополнительные приготовления - это чисто бабкины эстетические тараканы и прочие религиозные представления.

А с другой стороны представим кулинара, которому проще недоготовить, и ингридиентов не доложить, а другому дятлу на производстве проще сделать сыромятный металл, а он пойдёт в строительство или в производство транспорта, или врача, который допустим мог бы полечить, но ему проще отрезать, или «тащмайора», которому проще кое-чего подкинуть к рандомному лоху, чтобы себе звезду заработать, нежели пойти менее лёгким путём и действительно ловить преступников.

Если ваша работа относиться к тому виду деятельности, который влияет на других, потенциально может принести убытки разного рода, то лучше будет если вы сделаете её качественно, несмотря на трудности реализации, ну или вон из профессии, а то про лёгкий путь это мы запросто вопрошаем, но не стесняемся поплакать а чож это мы в такой стране живём, где все кому не лень ломятся в «лёгкий путь».

anonymous ()
Ответ на: комментарий от anonymous

Как-то ты слишком суров. Люди используют везде WebRTC не потому, что он плохой или им хочется, а потому что его легко воткнуть везде.

Мне как пользователю плевать тащемто, но налицо деградация функционала, удобства, и безопасности. Зато тяп-ляп и смузисосный Jitsi, не то чтоб Java предел совершенства, вовсе нет, однако если их сравнивать в лоб, то это всё равно что сравнивать ваську алкаша, и василия IV на основании того, что у обоих имя совпадает. Современная Jitsi это кусок сраного смузиговна.

Стоит ли винить человека, что он пошёл простым путём? Макакокодиры не человеки, ох не тех людей называли унтерменьшами!

anonymous ()

Я чего-то в этой жизни не понимаю. Но если те же самые видео выложить в любой платформе (включая ютуб), а потом обсудить в комментариях, либо специальных чатиках, получится то же самое, только гораздо проще.

ugoday ★★★★★ ()

кластер для Jibri — разработки FOSDEM для ретрансляции видео из комнат Jitsi Meet в несколько разных назначений (Jibri представляет собой запущенный на AWS headless-процесс Chromium с использованием фреймбуфера X11 и аудиосистемы ALSA, вывод которых записывается с помощью ffmpeg);

Зачем понадобился браузер, подпёртый костылями - просто потому что в браузере уже есть API и реализация WebRTC? Или ещё какие-то причины есть?

Из схемы я понял что этот компонент получает видео по WebRTC (медиапоток идёт напрямую от докладчика или релеится через Jitsi Meet?) куда-то дальше направляется уже по RTMP и в итоге приходит в виджет в matrix-клиенте.

alois ()

Кстати, а как выглядел «интерфейс вещания» для докладчиков?

Из схемы можно сделать предположение что у них был специальный виджет для вещания, подгружающийся в matrix-команте. Вон на схеме в левом нижнем блоке вложены два нечта (я так понял это matrix-виджеты) - <video/> для зрителей и Jitsi Meet для докладчика.

alois ()

Jitsi, Matrix, Jifoco, Jibri

Страшно далеки они от народа :( Что эта кучка фанатов обсуждала в своих стрёмных софтинках, известных только в их круге? Какой в этом смысл? Если они хотят доносить идеи «Свободы» до людей, надо идти туда, где люди: на Ютуб, на блог-платформы и туда писать, туда выкладыать свои видео, там распространять свои идеи. А так это выглядит как посиделка сумасшедших в закрытом отделении.

Alve ★★★★★ ()
Ответ на: комментарий от ugoday

Я чего-то в этой жизни не понимаю. Но если те же самые видео выложить в любой платформе (включая ютуб), а потом обсудить в комментариях, либо специальных чатиках, получится то же самое, только гораздо проще.

Цель - фанатеть с самих себя и дрочить на Свободу, а не доносить идеи до людей, потому что.

Alve ★★★★★ ()
Ответ на: комментарий от Alve

Прямо как в Guix с ядром Libre. Разработчики так балдеют от этого, что всех, у кого железо не работает без blob-прошивок (привет AMD видеокарты и так далее), посылают в далекое путешествие.

anonymous ()