Собственно, собрав проект вручную заметил, осознал что при сборке через QtCreator он собирался в один поток, что в четыре раза медленнее, чем в восемь потоков.
Может есть какие-то опции для .pro файла или еще что-то? Гугл мне не помог :(
Подумываю искать вызов make в исходниках QtCreator'а и втыкать ему аргументом -j7, но надеюсь на более простое решение.