LINUX.ORG.RU
Форум — Talks  

PGO в век телеметрии

 ,


0

1

Сейчас компиляю Firefox (который собирается с PGO в два шага — собирается с profile-gen, прогоняет бенчмарки и собирается ещё раз с profile-use) и что-то подумалось: а почему сейчас, когда всевозможная телеметрия стала обыденностью, она не используется для сбора профилей для PGO?

Казалось бы, это идеальное применение телеметрии: весь мир пользуется браузером, генерит трассы из реальных сценариев использования, отправляет их с телеметрией, потом мы их усредняем/обрабатываем и собираем следующий релиз с PGO из этих трасс.

Или так уже делают, просто я об этом не знаю?

★★★★★
← Почему в linux, bsd и прочих unix у сокетов api не соответствует напрямую протоколам?
ненависть: python - тесты курильщика →

Потому что сбор профайла вносит свой оверхед и может нарушить политику сбора данных. А ещё нужно будет с диверсиями как-то бороться, и далеко не факт что даст попугайный профит.

snizovtsev ★★★★★
()
Ответ на: комментарий от snizovtsev

сбор профайла вносит свой оверхед

Можно разрешение занизить.

может нарушить политику сбора данных

Мм, окей, принято. А есть пример?

А ещё нужно будет с диверсиями как-то бороться

Бороться с выбросами в любых статистических данных вроде давно уже умеют.

intelfx ★★★★★
() автор топика
Ответ на: комментарий от intelfx

Мм, окей, принято. А есть пример?

Не нужен тут пример, достаточно того, что с таким подходом мозилла не может в юридическом тексте заранее предусмотреть всё, что может случайно собраться о пользователе (и отделить режим инкогнито).

Бороться с выбросами в любых статистических данных вроде давно уже умеют.

Это требует больших ресурсов: железо на бигдату и аналитиков на зарплату. А толку скорее всего будет ноль: вангую средний профиль будет как если просто забенчмаркать синтетический реакт с ангуляром на этапе сборки.

snizovtsev ★★★★★
()
Ответ на: комментарий от intelfx

сбор профайла вносит свой оверхед

Можно разрешение занизить.

И наловить каких-нибудь артефактов из-за сэмплинга.

И, кстати, если упарываться и генерировать PGO из реальных сценариев использования, надо тогда его хотя бы группировать по полу, стране и возрасту, а то и произвольно. А то на что тебе «реальный сценарий использования» японской школьницы или кенийского пенсионера? Мне пожалуйста PGO красноглазика 2:1 с Jupyter'офилом, заверните в контекстную рекламу.

t184256 ★★★★★
()
Ответ на: комментарий от t184256

И, кстати, если упарываться и генерировать PGO из реальных сценариев использования, надо тогда его хотя бы группировать по полу, стране и возрасту, а то и произвольно.

Зачем, собранные трассы наверняка будут неплохо кластеризоваться? Потом можно просто выделить «моду» выборки или что-то вроде того. Но я не умею в статистику :)

intelfx ★★★★★
() автор топика

Так браузер внутри написан на JS, а JS работает на JIT компиляторе, в котором оптимизации делаются именно таким образом =)

stevejobs ★★★★☆
()
Ответ на: комментарий от BceM_IIpuBeT

я бы юзал фаерфокс-школота. Чтобы быстро работал ютаб, фейсбук, вконтач, инстаграм, форумы близзард, хабр и лор

stevejobs ★★★★☆
()
Ответ на: комментарий от stevejobs

Так браузер внутри написан на JS

Судя по тому, насколько долго оно собирается — далеко не только на JS.

intelfx ★★★★★
() автор топика
Последнее исправление: intelfx (всего исправлений: 1)
Ответ на: комментарий от t184256

И наловить каких-нибудь артефактов из-за сэмплинга.

Усреднятся же из-за большого количества пользователей, разве нет?

vlad9486 ★
()

и шо таки есть профит от этого вашего PGO?

sid350 ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Почему в linux, bsd и прочих unix у сокетов api не соответствует напрямую протоколам?
Talks
ненависть: python - тесты курильщика →