LINUX.ORG.RU

Технические подробности недавнего отключения дополнений в Firefox

 , ,


5

4

Прим. переводчика: для удобства читателей даты приведены по московскому времени

Недавно мы пропустили момент истечения срока действия одного из сертификатов, используемых для подписи дополнений. Это привело к отключению дополнений у пользователей. Теперь, когда по большей части проблема исправлена, я хотел бы рассказать о подробностях произошедшего и о проделанной работе.



Подоплёка: дополнения и подписи

Хотя многие используют браузер «из коробки», Firefox поддерживает расширения, называемые «дополнениями». С их помощью пользователи добавляют в браузер различные возможности. Существует свыше 15 тысяч дополнений: от блокировки рекламы до управления сотнями вкладок.

Установленные дополнения должны иметь цифровую подпись, которая защищает пользователей от вредоносных дополнений, и требует минимальной проверки дополнений сотрудниками Mozilla. Мы ввели это требование в 2015 году, поскольку испытывали серьёзные проблемы с вредоносными дополнениями.

Как это работает: каждая копия Firefox содержит «корневой сертификат». Ключ от этого «корня» хранится в модуле аппаратной защиты (HSM), не имеющем доступа к сети. Каждые несколько лет этим ключом подписывается новый «промежуточный сертификат», который используется при подписании дополнений. Когда разработчик присылает дополнение, мы создаём временный «конечный сертификат» и подписываем его, используя промежуточный сертификат. Затем конечным сертификатом подписывается само дополнение. Схематично это выглядит так.

Обратите внимание: у каждого сертификата есть «субъект» (кому выдан сертификат) и «издатель» (кто выдал сертификат). В случае корневого сертификата «субъект» = «издатель», но для других сертификатов издателем сертификата является субъект вышестоящего сертификата, которым тот подписан.

Важный момент: каждое дополнение подписано уникальным конечным сертификатом, но почти всегда эти конечные сертификаты подписаны одним и тем же промежуточным сертификатом.

Примечание автора: исключение — очень старые дополнения. В то время использовались различные промежуточные сертификаты.

Этот промежуточный сертификат вызвал проблемы: каждый сертификат действителен в течение определённого периода. До или после этого периода сертификат недействителен, и браузер не будет использовать дополнения, подписанные этим сертификатом. К сожалению, срок действия промежуточного сертификата истёк 4 мая в 4 часа утра.

Последствия проявились не сразу. Firefox проверяет подписи установленных дополнений не постоянно, а примерно раз в 24 часа, причём время проверки индивидуально для каждого пользователя. В результате, у некоторых людей проблемы возникли сразу же, у некоторых гораздо позже. Мы впервые узнали о проблеме примерно в тот момент, когда истёк срок действия сертификата, и сразу начали искать решение.


Снижаем ущерб

Как только мы поняли, что случилось, то попытались не допустить ухудшения ситуации.

Во-первых, прекратили принимать и подписывать новые дополнения. Нет смысла использовать для этого просроченный сертификат. Оглядываясь назад, я бы сказал, что можно было бы оставить всё как есть. Сейчас приём дополнений возобновлён.

Во-вторых, немедленно разослали исправление, которое предотвратило ежесуточную проверку подписей. Таким образом, мы спасли тех пользователей, у которых браузер за последние сутки ещё не успел проверить дополнения. Сейчас это исправление отозвано, необходимости в нём больше нет.


Параллельная работа

Теоретически, решение проблемы выглядит просто: создаём новый действительный промежуточный сертификат и переподписываем каждое дополнение. К сожалению, это не сработает:

  • мы не можем быстро переподписать 15 тысяч дополнений разом, система не рассчитана на такую нагрузку
  • после того, как подпишем дополнения, обновлённые версии нужно доставить пользователям. Большинство дополнений устанавливается с серверов Mozilla, поэтому в ближайшие сутки Firefox найдёт обновления, но некоторые разработчики распространяют подписанные дополнения по сторонним каналам, поэтому пользователям пришлось бы обновлять такие дополнения вручную

Вместо этого мы попытались разработать такое исправление, которое достигло бы всех пользователей, при этом не требуя (или почти не требуя) действий с их стороны.

Довольно быстро мы пришли к двум основным стратегиям, которые и использовали параллельно:

  • Обновить Firefox, чтобы изменить период действия сертификата. Это заставит существующие дополнения волшебным образом работать снова, но потребует выпуска и доставки новой сборки Firefox
  • Создать действительный сертификат и каким-то образом убедить Firefox принять его вместо существующего, срок действия которого истёк

Мы решили сначала использовать первый вариант, который выглядел вполне рабочим. В конце дня выпустили и второе исправление (новый сертификат), о котором поговорим далее.


Замена сертификата

Как я упомянул выше, требовалось:

  • создать новый действительный сертификат
  • удалённо установить его в Firefox

Чтобы понять, почему это сработает, рассмотрим подробнее процесс проверки дополнения. Само дополнение поставляется в виде набора файлов, включая цепочку сертификатов, используемых для подписи. В результате, дополнение может быть проверено, если браузеру известен корневой сертификат, который встраивается в Firefox во время сборки. Однако, как мы уже знаем, промежуточный сертификат просрочен, поэтому проверить дополнение невозможно.

Когда Firefox пытается проверить дополнение, он не ограничивается использованием сертификатов, содержащихся внутри самого дополнения. Вместо этого браузер пытается создать действительную цепочку сертификатов, начиная с конечного сертификата и продолжает, пока не доберётся до корня. На первом уровне начинаем с конечного сертификата, а затем находим сертификат, субъект которого является издателем конечного сертификата (то есть, промежуточный сертификат). Обычно этот промежуточный сертификат поставляется вместе с дополнением, но в этой роли также может выступать любой сертификат из хранилища браузера. Если мы сможем удалённо добавить в хранилище сертификатов новый действительный сертификат, Firefox попытается его использовать. Ситуация до и после установки нового сертификата.

После установки нового сертификата у Firefox будет два варианта при проверке цепочки сертификатов: использовать старый недействительный сертификат (который не будет работать), либо новый действительный (который будет работать). Важно, что новый сертификат содержит те же имя субъекта и открытый ключ, что и старый сертификат, поэтому его подпись на конечном сертификате будет действительна. Firefox достаточно умён, чтобы попробовать оба варианта, пока не найдёт работающий, поэтому дополнения снова станут проверенными. Обратите внимание, это та же логика, которую мы используем для проверки сертификатов TLS.

Примечание автора: читатели, знакомые с WebPKI, заметят, что точно так же работают перекрёстные сертификаты.

Самое замечательное в этом исправлении то, что оно не требует переподписывать существующие дополнения. Как только браузер получит новый сертификат, все дополнения вновь заработают. Остаётся сложность с тем, чтобы доставить новый сертификат пользователям (автоматически и удалённо), а также заставить Firefox перепроверить отключённые дополнения.


Normandy и система исследований

По иронии судьбы, эту проблему решает специальное дополнение, называемое «системным». Чтобы проводить исследования, мы разработали систему под названием Normandy, которая доставляет исследования пользователям. Эти исследования автоматически выполняются в браузере, и имеют расширенный доступ к внутренним API-интерфейсам Firefox. Исследования могут добавлять новые сертификаты в хранилище сертификатов.

Примечание автора: мы не добавляем сертификат с какими-то особыми привилегиями; он подписан корневым сертификатом, поэтому Firefox ему доверяет. Мы просто добавляем его в пул сертификатов, которые могут быть использованы браузером.

Таким образом, решение состоит в том, чтобы создать исследование:

  • устанавливающее пользователям созданный нами новый сертификат
  • заставляющее браузер перепроверить отключённые дополнения, чтобы они снова заработали

«Но подожди», - скажете вы, «дополнения же не работают, как запустить системное дополнение?». Подпишем его новым сертификатом!


Собираем всё вместе… почему так долго?

Итак, план: выпустить новый сертификат для замены старого, создать системное дополнение и установить его пользователям через Normandy. Проблемы, как я говорил, начались 4 мая в 4:00, а уже в 12:44 того же дня, менее чем через 9 часов, мы отправили исправление в Normandy. Потребовалось ещё 6-12 часов, чтобы оно добралось до всех пользователей. Уже неплохо, но пользователи в Twitter спрашивают, почему мы не могли действовать быстрее.

Во-первых, требовалось время, чтобы выпустить новый промежуточный сертификат. Как я уже упоминал выше, ключ от корневого сертификата хранится автономно в аппаратном модуле безопасности. Это хорошо с точки зрения безопасности, поскольку корень используется очень редко и должен быть надёжно защищён, но это слегка неудобно, когда нужно экстренно подписать новый сертификат. Одному из наших инженеров пришлось ехать в хранилище HSM. Затем были неудачные попытки выдать правильный сертификат, а каждая попытка стоила одного-двух часов, затраченных на тестирование.

Во-вторых, некоторое время заняла разработка системного дополнения. Концептуально это очень просто, но даже простые программы требуют внимательности. Мы хотели убедиться, что не сделаем ситуацию ещё хуже. Исследование нужно протестировать перед отправкой пользователям. К тому же, дополнение должно быть подписано, но наша система подписывания дополнений была отключена, пришлось искать обходной путь.

Наконец, после того, как мы подготовили исследования к отправке, на развёртывание требовалось время. Браузер проверяет наличие обновлений Normandy каждые 6 часов. Не все компьютеры постоянно включены и подключены к интернету, поэтому нужно время, чтобы исправление распространилось среди пользователей.


Финальные шаги

Исследование должно исправить проблему у большинства пользователей, но доступно не всем. К некоторым пользователям требуется особый подход:

  • пользователи, которые отключили исследования или телеметрию
  • пользователи Android-версии (Fennec), где исследования не поддерживаются вовсе
  • пользователи кастомных сборок Firefox ESR на предприятиях, где невозможно включить телеметрию
  • пользователи, сидящие за MitM-прокси, поскольку наша система установки дополнений использует привязывание ключей (key pinning), которое не работает с такими прокси
  • пользователи устаревших версий Firefox, не поддерживающих исследования

Мы ничего не можем поделать с последней категорией пользователей — им всё равно следует обновиться до новой версии Firefox, потому что устаревшие имеют серьёзные незакрытые уязвимости. Мы знаем, что некоторые люди остаются на старых версиях Firefox, потому что хотят запускать старые дополнения, но многие из старых дополнений уже портированы под новые версии браузера. Для прочих пользователей мы разработали патч, который установит новый сертификат. Он был выпущен как багфикс-релиз (примечание переводчика: Firefox 66.0.5), поэтому люди получат его — скорее всего, уже получили — через обычный канал обновления. Если вы используете кастомную сборку Firefox ESR, обратитесь к своему мейнтейнеру.

Мы понимаем, что всё это не идеально. В некоторых случаях пользователи теряли данные дополнений (например, данные дополнения Multi-Account Containers).

Этого побочного эффекта не удалось избежать, но мы считаем, что в краткосрочной перспективе выбрали лучшее для большинства пользователей решение. В долгосрочной перспективе мы поищем иные, более совершенные архитектурные подходы.


Уроки

Во-первых, наша команда проделала потрясающую работу, создав и отправив исправление менее чем за 12 часов после обнаружения проблемы. Как человек, который присутствовал на совещаниях, могу сказать, что в этой сложной ситуации люди работали очень усердно и впустую было потрачено совсем немного времени.

Очевидно, что всего этого вообще не должно было произойти. Явно стоит скорректировать наши процессы, чтобы снизить вероятность подобных инцидентов и облегчить исправление последствий.

На следующей неделе мы опубликуем официальный post-mortem и список изменений, которые намереваемся внести. Пока что поделюсь своими мыслями. Во-первых, должен быть лучший способ отслеживать состояние того, что является потенциальной бомбой замедленного действия. Нужно быть уверенными, что мы не окажемся в ситуации, когда одна из них внезапно сработает. Мы ещё прорабатываем детали, но, как минимум, требуется провести учёт всех подобных вещей.

Во-вторых, нужен механизм быстрой доставки обновлений пользователям, даже тогда, когда — особенно когда — всё остальное не работает. Было здорово, что мы смогли использовать систему «исследований», но это несовершенный инструмент и он обладает некоторыми нежелательными побочными эффектами. В частности, мы знаем, что у многих пользователей включено автоматическое обновление, но они предпочли бы не участвовать в исследованиях (признаюсь, у меня они тоже отключены!). В то же время нам требуется способ прислать обновления пользователям, но, какой бы ни была внутренняя техническая реализация, пользователи должны иметь возможность подписаться на обновления (включая оперативные исправления), но отказаться от всего остального. Кроме того, канал обновления должен быть более отзывчивым, чем сейчас. Даже 6 мая ещё были пользователи, которые не воспользовались ни исправлением, ни новой версией. Над этой проблемой уже работали, но случившееся показало, насколько она важна.

Наконец, мы присмотримся к архитектуре безопасности дополнений, чтобы убедиться, что она обеспечивает должный уровень безопасности с минимальным риском что-то сломать.

На следующей неделе мы рассмотрим результаты более тщательного анализа случившегося, а пока буду рад ответить на вопросы по электронной почте: ekr-blog@mozilla.com

>>> Подробности

Ответ на: комментарий от anonymous

В сортах ослов не разбираюсь)) Знаю только, что при запуске оно ставит систему раком примерно как фотошоп

Это ещё смотря какой фотожоп. Старые версии вполне шустрые и весь основной функционал там есть.

h578b1bde ★☆ ()
Ответ на: комментарий от h578b1bde

после каждого апдейта

Неужто мозилловцы в минорные ESR релизы добавляют новые зонды? Ну так я говорил: обновления - зло.

вместо постоянного ковыряния

Там по идее достаточно готовый prefs.js прикрутить. Все уже сделано до нас.

майнера впихнули

Это на трекерах обычно. Да и не хожу я уже на новостные сайты, нет нейтральных.

anonymous ()
Ответ на: комментарий от UNiTE

нуууу.. хз может там аддоны были подписаны другим сертом? могу попробовать, у меня есть 48 с хз каеих времен. щас на 56, и он починился. а в минте этот же 56 профиль вчера без проблем запустился. может, еще проверял серт - хз

rambleon ()
Ответ на: комментарий от anonymous

Их увела реклама и агрессивные способы распространения Хрома

Подозреваю, что проблема также (а то и исключительно) в антинародной политике мозилы.

1. Для пофигистов по отношению к свободе и информационной безопастности:

Подозреваю, 99% пользователей как минимум раз сталкивалась с дико бесячей багофичей, когда ctrl+q (типичная причина нажатия - промахивание по ctrl+w) без всяких предупреждений закрывает браузер. Но это ещё ладно, баги бывают у всех. Куда больше бесит отношение авторов, которые открыто плюют на проблемы пользователей, и говорят в багтрекере WONTFIX, потому что мы так хотим WONTFIX, пруф: https://bugzilla.mozilla.org/show_bug.cgi?id=419009 . Плюс недавно эти сволочи ещё и отломали плагин, специально предназначенный чтобы убрать эту «фичу»: https://addons.mozilla.org/en-US/firefox/addon/always-ask/ . Мы можем вас заставить страдать, и вы будете страдать, трепещите, мелкие юзеры.

Сейчас вроде юзеры нашли комбинацию параметров about:config, которая таки заставляет ff выдавать варнинг в такой ситуации, но не факт, что в новых версиях не отломают.

2. Для среднего уровня отношения к ИБ:

Верните vimperator, гады! Без vimperator'а ff - это не ff, а жалкая копия хрома. Уж если всё между чем у меня остался выбор - это хром и жалкая недокопия хрома, то я выберу хром.

3. Для внимательного отношения к ИБ:

(а) Ональные зонды, описаннные здесь: https://support.mozilla.org/en-US/kb/how-stop-firefox-making-automatic-connec... . Да, их можно отключить, но от свободного продукта никто не ожидает такого поведения изначально, и доверие теряеться.

(б) Скандал с принудительным включением JS в 24-й, кажется, версии. И проблема не только в том, что убрали галочку из стандартного экрана настроек, оставив только параметр в about:config (хотя и в этом тоже, свободный продукт не имеет морального права разрешать исполнение произвольного вредоностного кода). Куда большая проблема в том, что у юзеров, у которых перед обновлением с предыдущей версии JS был выключен, при обновлении на 24-ю строка в about:config не скопировала эту настройку, JS был принудительно включён без предупреждения (!). Миллионы систем, где юзеры мониторят на реальной машине, скажем, общедоступные страницы вк, были сразу же скомпрометированы (после чего в будущем доверия к этим системам, строго говоря, быть не может, как минимум к этому пользовательскому аккаунту, поскольку даже после однократного запуска вредоностного кода не может быть увереннности, что всё, что мы видим дальше, это реальная картинка, а не виртуальная, подсунутая серверами вк, который теперь знает абсолютно всё, что мы делаем под этим аккаунтом).

(в) Как уже отмечали толи здесь, толи на хабре, отключение плагинов также привела к массовой компрометации систем - если юзеры просматривали небезопастные страницы с расширениями, которые делали их просмотр безопастным.

Да, в хроме все эти проблемы по умолчанию есть, хром, с точки зрения ИБ, можно запускать только в максимально изолировааном и виртуализованном окружении. Однако одним из стандартных утверждений идеологии free software является, то-что полубезопастность хуже полного отсувтствия безопастности. Подозреваю, приличное колличество юзеров перешло на хром именно после этих скандалов. Те, кто знает про луну и те, у кого она есть в репах, вероятно перешил на неё, но это далеко не все (а во времена 24 версии никакой луны не было).

anonymous ()
Ответ на: комментарий от anonymous

1. Не разу не промахивался. Так можно настроить подтверждение, если открыто несколько вкладок.
3а. Даже на лоре таких можно пересчитать по пальцам одной руки.
3б. Противники зондов сидят в Тор браузере, но они то как раз не особо жаловались и даже спешат вернуть проверку подписей (зонды) обратно. Хотя нет после выхода 8 что-ли версии они жаловались, что NoScript включает JS обратно и оставались на 7. Никому нельзя верить.

именно после этих скандалов

Необъективное видение ситуации.

anonymous ()

Для устаревших версий (в основном, для тех, кто сидит на 52 ESR) выпущено дополнение https://addons.mozilla.org/ru/firefox/addon/disabled-add-on-fix-52-56/

впрочем, пользователи этих версий, наверняка, давно уже выковыряли нужный сертификат и импортировали его вручную...

MozillaFirefox ★★★ ()
Последнее исправление: MozillaFirefox (всего исправлений: 1)
Ответ на: комментарий от MozillaFirefox

если вы про этот hotfix-update-xpi-intermediate@mozilla.com-1.0.2-signed (1) то он часть аддонов включил, а часть нет. причем не включены остались и легаси и нелегаси. запускает все скрипт отсюда https://www.comss.ru/page.php?id=6031#solution и/или вместе с Импорт сертификата вручную icfix.pem.

rambleon ()

Ну сразу видно что в мозилле работают проффесианалы, а не кто попало по квотам для «нитаких как все» (Нет.) Ну вот прям ниразу не костыли для подпорки зондов (Они самые.) Это всё определённо происки запада в лице Гугла не дают Мозилле подняться с колен!

anonymous ()
Ответ на: комментарий от rambleon

Я так понимаю, (предполагается, что) этот pem-файл - это тот самый промежуточный сертификат из верхнего поста, подписанный корневым, за которым Мозилле нужно ездить в изолированный центр. В комменте на хабре написано, что ff не распознает издателя этого сертификата, несмотря на то, что казалось бы, возможность проверять сертификаты, подписанные этим корневым, содержится прямо в коде ff. Я этого тоже не понимаю. почему ff не узнаёт издателя, и мне это тоже подозрительно.

anonymous ()
Ответ на: комментарий от anonymous

я сильно не в теме деталей,( можно так сказать?,) сертификации. по этому могу показать : (для меня это темный лес, кроме того что читается буквально)

CN = root-ca-production-amo OU = Mozilla AMO Production Signing Service O = Mozilla Corporation C = US

E = foxsec@mozilla.com CN = signingca1.addons.mozilla.org OU = Mozilla AMO Production Signing Service O = Mozilla Corporation C = US

Not Critical Is a Certificate Authority Maximum number of intermediate CAs: unlimited

Critical Certificate Signer CRL Signer

тут походу пусто??

Not Critical Size: 20 Bytes / 160 Bits b3 bc ea 58 74 ab e1 6e 78 2a b2 ab 9c 23 1e a8 63 2c 97 b7 Issuer: X.500 Name: CN = root-ca-production-amo OU = Mozilla AMO Production Signing Service O = Mozilla Corporation C = US

rambleon ()
Ответ на: комментарий от anonymous

Последняя фраза - это сарказм или нет?

Я серьёзно, если чё. Эту фразу

Это всё определённо происки запада в лице Гугла не дают Мозилле подняться с колен!

Можно интерпретировать двумя способами:

1. Феминистки, проникшие в руководство гугла и «вообще запада», изменили правила спонсирования гуглом мозиллы: теперь гугл спонсирует мозиллу не просто так, а в обмен на нанятие не умеющих программировать альтернативно одарённых третьего пола.

2. Феминистки, проникшие в руководство самой мозиллы, без всякого спонсирования нанимают не умеющих программировать альтернативно одарённых третьего пола.

Да, первый способ - это приумножение сущностей, но при этом об увольнениях из гугла за идеологически невыдержанные, с точки зрения феминизма, высказывания, слышала наверное половина интеренета, а про мозиллу таких новостей вроде пока не было.

Вот я и хочу спросить, что имел в виду автор.

anonymous ()
Ответ на: комментарий от anonymous

про мозиллу таких новостей вроде пока не было.

Ну да, конечно, ведь в «Технических подробностях» о «профессиональном гноблении» от Мозиллы написано что «он сам ушёл» https://blog.mozilla.org/blog/2014/04/05/faq-on-ceo-resignation/

anonymous ()
Ответ на: комментарий от rambleon

его там нет вродекаг ?

Там - это где? Корневого сертификата внутри бинарника браузера или издателя в сертификате?

Издателя в сертификате ff как минимум у меня показывает: CN=root-ca-production-amo, O=Mozilla Corporation, OU=Mozilla AMO Production Signing Service. (Не спрашивайте меня, что в точности значит CN, O, OU.)

В стартовом посте написано, что внутри бинарника сертификат всегда есть.

Почему браузер говорит «issuer is unknown»?

anonymous ()