Я разобрался, я дебил. Вопрос содержит ответ, просто поменять дефолтный шрифт для латиницы. А вот пока не задал на лоре вопрос - не мог решить проблему.
Картинка не открывается, не понятно о чём ты. Дефолтные шрифты можно настроить в ~/.config/fontconfig/fonts.conf, у меня, например, везде Roboto, выглядит так:
Единственный твик в системе по шрифтам беру из федоровского фака: sudo ln -s /usr/share/fontconfig/conf.avail/11-lcdfilter-default.conf /etc/fonts/conf.d/, потому что firefox сцуко не реагирует на настройки gsettings.