ffmpeg loudnorm

Перегнать звуковую дорогу с DRC поддержкой (хотя хз как она работает: нормализует ли она просто громкость у дороги или нормализует в реальном времени громкость по пикам).
Использовать плеер с поддержкой нормализации пиков звуков в дороге в реальном времени например MPV плеер с конфигом ~/.config/mpv.conf > af=format=channels=stereo,loudnorm — решает проблему тихих диалогов в кино и очень громких спецэффектов.

Мне на постоянной основе, так и vlc справляется, хоть и не очень.

Видимо надо предварительно с компрессией баловаться.

Мне на постоянной основе

Если нужно для музыки на постоянной основе и без переконвертации всей коллекции музыки, то для этого есть Reply Gain. В плеерах Replay Gain сканер должен быть, сканирующий файлы и вписывающий в теги громкость в децибелах, потом плеер воспроизведения будет из тегов брать громкость для воспроизведения. Из просканированной коллекции Replay Gain_ом можно накидать из разных групп и альбомов треки и они все будут звучать одинаковой громкости. Единственный минус некоторых плееров — они просканированные Replay Gain_ом пишут не в теги, а в свои плеерные хеши/кеши и при перемещении файлов в самих файлах тегов может и не обнаружится.