Я собирал отладочную версию libpdf.so c -O0 -g3, особого прироста скорости сборки по сравнению с дефолтными флагами не заметил. Возможно, -g3 весь прирост съел.
Не скажу насчёт либры (зачем её компилять?), но хромоног у меня компилировался в 10 раз дольше любого другого пакета. Похожая петрушка с mkvtoolnix, там просто нечему столько времени компиляться (шаблоны, чтоб их).