LINUX.ORG.RU

Технические подробности недавнего отключения дополнений в Firefox

 , ,


5

4

Прим. переводчика: для удобства читателей даты приведены по московскому времени

Недавно мы пропустили момент истечения срока действия одного из сертификатов, используемых для подписи дополнений. Это привело к отключению дополнений у пользователей. Теперь, когда по большей части проблема исправлена, я хотел бы рассказать о подробностях произошедшего и о проделанной работе.



Подоплёка: дополнения и подписи

Хотя многие используют браузер «из коробки», Firefox поддерживает расширения, называемые «дополнениями». С их помощью пользователи добавляют в браузер различные возможности. Существует свыше 15 тысяч дополнений: от блокировки рекламы до управления сотнями вкладок.

Установленные дополнения должны иметь цифровую подпись, которая защищает пользователей от вредоносных дополнений, и требует минимальной проверки дополнений сотрудниками Mozilla. Мы ввели это требование в 2015 году, поскольку испытывали серьёзные проблемы с вредоносными дополнениями.

Как это работает: каждая копия Firefox содержит «корневой сертификат». Ключ от этого «корня» хранится в модуле аппаратной защиты (HSM), не имеющем доступа к сети. Каждые несколько лет этим ключом подписывается новый «промежуточный сертификат», который используется при подписании дополнений. Когда разработчик присылает дополнение, мы создаём временный «конечный сертификат» и подписываем его, используя промежуточный сертификат. Затем конечным сертификатом подписывается само дополнение. Схематично это выглядит так.

Обратите внимание: у каждого сертификата есть «субъект» (кому выдан сертификат) и «издатель» (кто выдал сертификат). В случае корневого сертификата «субъект» = «издатель», но для других сертификатов издателем сертификата является субъект вышестоящего сертификата, которым тот подписан.

Важный момент: каждое дополнение подписано уникальным конечным сертификатом, но почти всегда эти конечные сертификаты подписаны одним и тем же промежуточным сертификатом.

Примечание автора: исключение — очень старые дополнения. В то время использовались различные промежуточные сертификаты.

Этот промежуточный сертификат вызвал проблемы: каждый сертификат действителен в течение определённого периода. До или после этого периода сертификат недействителен, и браузер не будет использовать дополнения, подписанные этим сертификатом. К сожалению, срок действия промежуточного сертификата истёк 4 мая в 4 часа утра.

Последствия проявились не сразу. Firefox проверяет подписи установленных дополнений не постоянно, а примерно раз в 24 часа, причём время проверки индивидуально для каждого пользователя. В результате, у некоторых людей проблемы возникли сразу же, у некоторых гораздо позже. Мы впервые узнали о проблеме примерно в тот момент, когда истёк срок действия сертификата, и сразу начали искать решение.


Снижаем ущерб

Как только мы поняли, что случилось, то попытались не допустить ухудшения ситуации.

Во-первых, прекратили принимать и подписывать новые дополнения. Нет смысла использовать для этого просроченный сертификат. Оглядываясь назад, я бы сказал, что можно было бы оставить всё как есть. Сейчас приём дополнений возобновлён.

Во-вторых, немедленно разослали исправление, которое предотвратило ежесуточную проверку подписей. Таким образом, мы спасли тех пользователей, у которых браузер за последние сутки ещё не успел проверить дополнения. Сейчас это исправление отозвано, необходимости в нём больше нет.


Параллельная работа

Теоретически, решение проблемы выглядит просто: создаём новый действительный промежуточный сертификат и переподписываем каждое дополнение. К сожалению, это не сработает:

  • мы не можем быстро переподписать 15 тысяч дополнений разом, система не рассчитана на такую нагрузку
  • после того, как подпишем дополнения, обновлённые версии нужно доставить пользователям. Большинство дополнений устанавливается с серверов Mozilla, поэтому в ближайшие сутки Firefox найдёт обновления, но некоторые разработчики распространяют подписанные дополнения по сторонним каналам, поэтому пользователям пришлось бы обновлять такие дополнения вручную

Вместо этого мы попытались разработать такое исправление, которое достигло бы всех пользователей, при этом не требуя (или почти не требуя) действий с их стороны.

Довольно быстро мы пришли к двум основным стратегиям, которые и использовали параллельно:

  • Обновить Firefox, чтобы изменить период действия сертификата. Это заставит существующие дополнения волшебным образом работать снова, но потребует выпуска и доставки новой сборки Firefox
  • Создать действительный сертификат и каким-то образом убедить Firefox принять его вместо существующего, срок действия которого истёк

Мы решили сначала использовать первый вариант, который выглядел вполне рабочим. В конце дня выпустили и второе исправление (новый сертификат), о котором поговорим далее.


Замена сертификата

Как я упомянул выше, требовалось:

  • создать новый действительный сертификат
  • удалённо установить его в Firefox

Чтобы понять, почему это сработает, рассмотрим подробнее процесс проверки дополнения. Само дополнение поставляется в виде набора файлов, включая цепочку сертификатов, используемых для подписи. В результате, дополнение может быть проверено, если браузеру известен корневой сертификат, который встраивается в Firefox во время сборки. Однако, как мы уже знаем, промежуточный сертификат просрочен, поэтому проверить дополнение невозможно.

Когда Firefox пытается проверить дополнение, он не ограничивается использованием сертификатов, содержащихся внутри самого дополнения. Вместо этого браузер пытается создать действительную цепочку сертификатов, начиная с конечного сертификата и продолжает, пока не доберётся до корня. На первом уровне начинаем с конечного сертификата, а затем находим сертификат, субъект которого является издателем конечного сертификата (то есть, промежуточный сертификат). Обычно этот промежуточный сертификат поставляется вместе с дополнением, но в этой роли также может выступать любой сертификат из хранилища браузера. Если мы сможем удалённо добавить в хранилище сертификатов новый действительный сертификат, Firefox попытается его использовать. Ситуация до и после установки нового сертификата.

После установки нового сертификата у Firefox будет два варианта при проверке цепочки сертификатов: использовать старый недействительный сертификат (который не будет работать), либо новый действительный (который будет работать). Важно, что новый сертификат содержит те же имя субъекта и открытый ключ, что и старый сертификат, поэтому его подпись на конечном сертификате будет действительна. Firefox достаточно умён, чтобы попробовать оба варианта, пока не найдёт работающий, поэтому дополнения снова станут проверенными. Обратите внимание, это та же логика, которую мы используем для проверки сертификатов TLS.

Примечание автора: читатели, знакомые с WebPKI, заметят, что точно так же работают перекрёстные сертификаты.

Самое замечательное в этом исправлении то, что оно не требует переподписывать существующие дополнения. Как только браузер получит новый сертификат, все дополнения вновь заработают. Остаётся сложность с тем, чтобы доставить новый сертификат пользователям (автоматически и удалённо), а также заставить Firefox перепроверить отключённые дополнения.


Normandy и система исследований

По иронии судьбы, эту проблему решает специальное дополнение, называемое «системным». Чтобы проводить исследования, мы разработали систему под названием Normandy, которая доставляет исследования пользователям. Эти исследования автоматически выполняются в браузере, и имеют расширенный доступ к внутренним API-интерфейсам Firefox. Исследования могут добавлять новые сертификаты в хранилище сертификатов.

Примечание автора: мы не добавляем сертификат с какими-то особыми привилегиями; он подписан корневым сертификатом, поэтому Firefox ему доверяет. Мы просто добавляем его в пул сертификатов, которые могут быть использованы браузером.

Таким образом, решение состоит в том, чтобы создать исследование:

  • устанавливающее пользователям созданный нами новый сертификат
  • заставляющее браузер перепроверить отключённые дополнения, чтобы они снова заработали

«Но подожди», - скажете вы, «дополнения же не работают, как запустить системное дополнение?». Подпишем его новым сертификатом!


Собираем всё вместе… почему так долго?

Итак, план: выпустить новый сертификат для замены старого, создать системное дополнение и установить его пользователям через Normandy. Проблемы, как я говорил, начались 4 мая в 4:00, а уже в 12:44 того же дня, менее чем через 9 часов, мы отправили исправление в Normandy. Потребовалось ещё 6-12 часов, чтобы оно добралось до всех пользователей. Уже неплохо, но пользователи в Twitter спрашивают, почему мы не могли действовать быстрее.

Во-первых, требовалось время, чтобы выпустить новый промежуточный сертификат. Как я уже упоминал выше, ключ от корневого сертификата хранится автономно в аппаратном модуле безопасности. Это хорошо с точки зрения безопасности, поскольку корень используется очень редко и должен быть надёжно защищён, но это слегка неудобно, когда нужно экстренно подписать новый сертификат. Одному из наших инженеров пришлось ехать в хранилище HSM. Затем были неудачные попытки выдать правильный сертификат, а каждая попытка стоила одного-двух часов, затраченных на тестирование.

Во-вторых, некоторое время заняла разработка системного дополнения. Концептуально это очень просто, но даже простые программы требуют внимательности. Мы хотели убедиться, что не сделаем ситуацию ещё хуже. Исследование нужно протестировать перед отправкой пользователям. К тому же, дополнение должно быть подписано, но наша система подписывания дополнений была отключена, пришлось искать обходной путь.

Наконец, после того, как мы подготовили исследования к отправке, на развёртывание требовалось время. Браузер проверяет наличие обновлений Normandy каждые 6 часов. Не все компьютеры постоянно включены и подключены к интернету, поэтому нужно время, чтобы исправление распространилось среди пользователей.


Финальные шаги

Исследование должно исправить проблему у большинства пользователей, но доступно не всем. К некоторым пользователям требуется особый подход:

  • пользователи, которые отключили исследования или телеметрию
  • пользователи Android-версии (Fennec), где исследования не поддерживаются вовсе
  • пользователи кастомных сборок Firefox ESR на предприятиях, где невозможно включить телеметрию
  • пользователи, сидящие за MitM-прокси, поскольку наша система установки дополнений использует привязывание ключей (key pinning), которое не работает с такими прокси
  • пользователи устаревших версий Firefox, не поддерживающих исследования

Мы ничего не можем поделать с последней категорией пользователей — им всё равно следует обновиться до новой версии Firefox, потому что устаревшие имеют серьёзные незакрытые уязвимости. Мы знаем, что некоторые люди остаются на старых версиях Firefox, потому что хотят запускать старые дополнения, но многие из старых дополнений уже портированы под новые версии браузера. Для прочих пользователей мы разработали патч, который установит новый сертификат. Он был выпущен как багфикс-релиз (примечание переводчика: Firefox 66.0.5), поэтому люди получат его — скорее всего, уже получили — через обычный канал обновления. Если вы используете кастомную сборку Firefox ESR, обратитесь к своему мейнтейнеру.

Мы понимаем, что всё это не идеально. В некоторых случаях пользователи теряли данные дополнений (например, данные дополнения Multi-Account Containers).

Этого побочного эффекта не удалось избежать, но мы считаем, что в краткосрочной перспективе выбрали лучшее для большинства пользователей решение. В долгосрочной перспективе мы поищем иные, более совершенные архитектурные подходы.


Уроки

Во-первых, наша команда проделала потрясающую работу, создав и отправив исправление менее чем за 12 часов после обнаружения проблемы. Как человек, который присутствовал на совещаниях, могу сказать, что в этой сложной ситуации люди работали очень усердно и впустую было потрачено совсем немного времени.

Очевидно, что всего этого вообще не должно было произойти. Явно стоит скорректировать наши процессы, чтобы снизить вероятность подобных инцидентов и облегчить исправление последствий.

На следующей неделе мы опубликуем официальный post-mortem и список изменений, которые намереваемся внести. Пока что поделюсь своими мыслями. Во-первых, должен быть лучший способ отслеживать состояние того, что является потенциальной бомбой замедленного действия. Нужно быть уверенными, что мы не окажемся в ситуации, когда одна из них внезапно сработает. Мы ещё прорабатываем детали, но, как минимум, требуется провести учёт всех подобных вещей.

Во-вторых, нужен механизм быстрой доставки обновлений пользователям, даже тогда, когда — особенно когда — всё остальное не работает. Было здорово, что мы смогли использовать систему «исследований», но это несовершенный инструмент и он обладает некоторыми нежелательными побочными эффектами. В частности, мы знаем, что у многих пользователей включено автоматическое обновление, но они предпочли бы не участвовать в исследованиях (признаюсь, у меня они тоже отключены!). В то же время нам требуется способ прислать обновления пользователям, но, какой бы ни была внутренняя техническая реализация, пользователи должны иметь возможность подписаться на обновления (включая оперативные исправления), но отказаться от всего остального. Кроме того, канал обновления должен быть более отзывчивым, чем сейчас. Даже 6 мая ещё были пользователи, которые не воспользовались ни исправлением, ни новой версией. Над этой проблемой уже работали, но случившееся показало, насколько она важна.

Наконец, мы присмотримся к архитектуре безопасности дополнений, чтобы убедиться, что она обеспечивает должный уровень безопасности с минимальным риском что-то сломать.

На следующей неделе мы рассмотрим результаты более тщательного анализа случившегося, а пока буду рад ответить на вопросы по электронной почте: ekr-blog@mozilla.com

>>> Подробности

Ответ на: комментарий от khrundel

И пофиг, что и файрфокс и бубунта как бы никогда и не позиционировали себя как нечто для задротов, всю жизнь хотели угождать домохозяйкам.

Это исключающие параграфы. Суть странности «странных» - это самим решать что и как им нужно, а что ненужно и неприемлемо, сами контроллировать процесс. Вот это ключевой момент. Для это нужен уровень интеллекта и квалификации выше среднего. Если перевести «угождать домомхозяйкам» на человеческий язык, то это - отнять у пользователя контроль над системой и программами и диктовать волю корпорастов-копирастов. Если бы хотели угождать домохозяйкам, то просто предусмотрели бы какой-то отключаемый «дамми-моуд», а не методично удаляли бы возможности контроля происходящего. Так что никаких домохозяек - это легенда прикрытия. Просто забирают контроль у пользователя в пользу корпорастов-копирастов. Все эти сертификации - это этап внедрения полноценного DRM/

anonymous ()
Ответ на: комментарий от MozillaFirefox

В браузере не было никакого просроченного сертификата. Просроченный сертификат располагается внутри каждого дополнения.

если вы не понимаете русский язык, то попробуйте хотя бы картинку посмотреть https://habrastorage.org/getpro/habr/post_images/a28/9af/687/a289af687922aa1a...

anonymous ()

И хром и лиса разрабатываются в закрытом режиме. Вероятность приема патча извне крайне мала. Так уж устроен современный веб. Но есть возможность форкнуть и патчить броузер как тебе надо. DRM рабртать не будет, но оно ведь и не надо, да?

slapin ★★★★★ ()
Ответ на: комментарий от slapin

преимущество хрома в том, что его разрабытывают несколько заинтересованных сторон. грубо говоря, в фурифоксе спиноф - это «тухлый форк», а в хроме спиноф - это ещё один браузер на хроме. первое - отстой, второе круто.

во-вторых, т.к. заинтересованных сторон больше, то вероятность приёма осмысленного патча выше. по крайней мере сделать нежелательную функцию отключаемой будет точно проще.

anonymous ()

вот что непонятно, так это с чего техпроблемы и бизнесмодель ффокса каким боком касается ыоксохейтеров, которые им не пользуются от слова совсем?

rambleon ()
Ответ на: комментарий от anonymous

Суть странности «странных» - это самим решать что и как им нужно, а что ненужно и неприемлемо, сами контроллировать процесс. Вот это ключевой момент. Для это нужен уровень интеллекта и квалификации выше среднего.

Как же надоели дебилойды, считающие что сидеть за компутером и настраивать бровзер (или даже погроммировать) - это признак интеллекта.

anonymous ()
Ответ на: комментарий от MozillaFirefox

вредоносное дополнение оставалось и пользователь орал «ваш фуррифокс мне рекламу крутит!!!1»

И благодаря блестящему техническому решению, фаерфокс начал крутить рекламу всем пользователям на планете.
Если не это успех, то что тогда?

wxw ★★★★★ ()
Ответ на: комментарий от slapin

Ты намекаешь на PaleMoon? Другого форка я не знаю. Луна, впринципе, норм. По крайней мере, достойна моральной поддержки, ведь чел сделал то, что десятки лоровцев видят только во влажных фантазиях - запил форк ФФ, которым, к тому же, еще и пользуется кто-то кроме автора.

anonymous ()
Ответ на: комментарий от khrundel

И пофиг, что и файрфокс и бубунта как бы никогда и не позиционировали себя как нечто для задротов, всю жизнь хотели угождать домохозяйкам.

Ну насчет ФФ, с его вечными завываниями при приватность и акцентом на расширениях - это спорное утверждение.

anonymous ()
Ответ на: комментарий от anonymous

Просто у мозиллы метания, как у 40 летней незамужней телки. Тому хочет подлизать, и другому угодить, но из-за природной тупизны (менеджеров ясно дело) неспособна ни на что.

anonymous ()
Ответ на: комментарий от gremlin_the_red

Особенно при чём здесь какое-то устаревание каких-то дополнений

При том, что они внезапно оказываются небезопасности после устаревания сертификата.

praseodim ★★★ ()
Ответ на: комментарий от slapin

и да, дрм не надо. дрм в принципе можно засунуть туда откуда высунули.

в любом случае дрм не пропадёт, найдут способ его тебе как-то зазондировать, если понравится, то даже на регулярной основе. поэтому вот такая совсем откровенная поддержка дрм, вот чтоб прямо из коробки, не нужна от слова совсем. там разберутся как сделать так чтобы без дрм не работало, а в другом месте разберутся как сделать так чтобы работало без дрм. спасибо конечно за заботу, но нет.

anonymous ()
Ответ на: комментарий от anonymous

единственный смысл не в защите пользователя от чего-то, а в технологии контроля времени жизни софта «издателями».

Вот очень похоже. Но маленько не рассчитали и отвалились сразу все аддоны. Еще хорошо, что xpinstall.signatures.required можно в false поставить.

praseodim ★★★ ()
Ответ на: комментарий от anonymous

Ну, сравнение с женщинами мне не нравится, но вообще да, они стремятся продаться кому угодно, при первой возможности. Собственно, я об этом писал в другом треде пару дней назад. Причина ведь очень проста: дело не в тупизне менеджмента, а в необходимости больших денег. У Google, MS, Apple эти деньги есть. У китайцев, которые сейчас делают Оперу - хз, но раз купили - значит точно а) не нищие и б) планируют на этом делать деньги. А у Мозиллы нет источника таких денег, поэтому ситуативно сотрудничают со всеми, кто готов их проспонсировать.

anonymous ()
Ответ на: комментарий от anonymous

И ничего в этом смысле не изменится. Потому что быть нормальными капиталистами и делать [объективно конкуретноспособный]* продукт они не хотят (и/или не умеют).

* Это когда акцент делается на скорости, надежности, удобстве и других критериях, которые можно почувствовать «здесь и сейчас», а не на манипулировании страхами, подаваемым как «забота о прайваси» и манипулировании чсв, подаваемым как «ололо, сделаем мир свободным».

anonymous ()
Ответ на: комментарий от Gonzo

Где возмещение моего ущерба?111

напишите на указанную в статье почту, указав какой именно ущерб вам нанесен, и чем его следует возместить. можете еще продублировать и здесь, почитаем-посмеемся.

duraki ★★★ ()
Ответ на: комментарий от anonymous

если бы фурифокс был свободным программным обеспечением, то в него стоило бы отправить патч который просто запрещал бы ананимусам постить на лор

починил

duraki ★★★ ()
Ответ на: комментарий от mbivanyuk

Вообще единственное разумное решение в этой ситуации было разогнать всю эту команду, причем не только из Mozilla но и вообще из профессии

и заменишь их всех конечно же ты

duraki ★★★ ()
Ответ на: комментарий от anonymous

Как же надоели дебилойды, считающие что сидеть за компутером и настраивать бровзер (или даже погроммировать) - это признак интеллекта.

А что признак интеллекта, Анон?

n1rdeks ()
Ответ на: комментарий от slapin

Но есть возможность форкнуть и патчить броузер как тебе надо.

... ну так и до Луны допрыгнуть ведь никто не запрещает. Отсутствие запрета патчить софт с миллионами строк кода примерно равнозначно отсуствию запрета допрыгнуть до Луны. ... вроде и не запрещено, но практической пользы от этого никакой ;)

anonymous ()
Ответ на: комментарий от khrundel

дураков
дурак
дурью

факап

Никаких противоречий не видишь?

людям, которым нужен нормальный рабочий продукт, чтоб работал здесь и сейчас, а не в гипотетическом будущем после ядерной войны

Сабж показывает что это не про поделки от тормозиллы.

h578b1bde ★☆ ()
Ответ на: комментарий от anonymous

Как же надоели дебилойды, считающие что сидеть за компутером и настраивать бровзер (или даже погроммировать) - это признак интеллекта.

Во-первых, у тебя проблемы с памятью - это было сказано в более широком контексте.

Во-вторых, тебя пытают? Заставляют сюда писать и читать ... или ты мазохист?

anonymous ()
Ответ на: комментарий от anonymous

Я из стеба написал, потому что человек реально тупит в типичном для ботанов стиле. А вот почему у тебя так пригорело - это вопрос, да. (На самом деле нет.)

anonymous ()
Ответ на: комментарий от anonymous

Даже в мс можно сделать с хранилищем сертификатов всё что угодно. А здесь подишь ты - мы лучше знаем что нужно пользователю.

Ты что, это ж опенсорс, поправь и ко-конпеляй! Прилетит новая версия — правь и конпеляй опять. И снова. Пофиг что даже мейнтейнеры дистрибутивов не поспевают за этими быстрыми как понос апдейтами, ведь всё в твоих руках!

h578b1bde ★☆ ()
Ответ на: комментарий от h578b1bde

Когда есть общее хранилище сертификатов в системе то неплохо было бы использовать и его. При добавление сертификата не из интерфейса в firefox то ещё извращение.

anonymous ()
Ответ на: комментарий от khrundel

Никто вменяемый конфиги ради говнодополнения не правит. Если тебе приходится, значит что-то с тобой и твоим дополнением не так.

По иронии судьбы, эту проблему решает специальное дополнение, называемое «системным».

Мозилловцы — невменяемые идиоты с неработающими говнодополнениями, таки и запишем.

Нафиг мне подписывать расширения самому? Зачем?

Чтобы не страдать когда в тормозилле случится очередной факап.

На кой ляд им добавлять дополнительную дыру чтоб избавить от необходимости пересобрать браузер полтора любителя странного?

Нахера мне пересобирать браузер самому? Зачем? Чтобы он начал работать так как должен? Спасибо, но я выберу другой браузер (хотя уже давно выбрал).

h578b1bde ★☆ ()

но многие из старых дополнений уже портированы под новые версии браузера

Даааа? И как там поживает API менеджера сессий и тулбаров? В 21 году ждать или на 22 перенесли из-за героической борьбы с сертификатами?

15 тысяч дополнений

Учитывая вышесказанное, полезных из этой кучи гуано осталось единицы. Все остальное, делающее хоть сколько-нибудь серьезные вещи, цинично («выпускаем квантум сейчас, а три четверти API напишем как-нибудь потом, после дождичка в четверг, аккурат перед тем как сломать все очередной ррррреволюционной секурной технологией») убито.

anonymous ()
Ответ на: комментарий от mbivanyuk

Вообще единственное разумное решение в этой ситуации было разогнать всю эту команду, причем не только из Mozilla но и вообще из профессии. Назвать это все «потрясающей работой» - ну это даже не смешно уже, петросянство какое-то.

Сами сломали, сами „починили”, с потерей данных у пользователей, через зонд, методом вырезания гланд через анус — но ведь починили же! Можно теперь и медальку самим себе купить пока ещё чего не случилось.

h578b1bde ★☆ ()
Ответ на: комментарий от khrundel

И пофиг, что и файрфокс и бубунта как бы никогда и не позиционировали себя как нечто для задротов, всю жизнь хотели угождать домохозяйкам.

То-то доля угождающего домохозяйкам жирнолиса скатилась к 5%.

h578b1bde ★☆ ()
Ответ на: комментарий от anonymous

Для использования общего хранилища в мс всё сделано - только настроечки в about:config поправить. И, сюрприз, почему это не сделано по умолчанию либо ручкой в окне настроек - это же небезопасно! Зато шаблоны политик есть, где всё это настраивается мышкой. Отличное решение мозиловцы, отличное.

anonymous ()