Какие библиотеки использовать, чтобы собрать пропиертарное приложение?

Зачем тебе ядро фрибсд или линукса в приложении?

чтобы распространять

Статически слинкованный код ядра? Даже сони этим не занимается. Если ты пишешь проприетарный модуль ядра, то там есть список символов которые ты можешь использовать через прослойку (см драйвер нвидиа), если ты распространяешь свой образ с проприетарным кодом, то до тех пор пока ты не изменял исходники гпл приложений, ты никому ничего не должен. Линковаться только динамически с lgpl либами.

А ещё я хочу одно ядро на компьютере.

Беря FreeBSD и linux 64 compatibility layer, я могу запустить Docker и иметь FreeBSD и Linux-приложения одновременно.

Нафига, если большинство работает просто будучи собрано из исходников?

запускать бинарные приложения из steam