влияние размера ядра на скорость

Естественно влияет , и еще как. На самом деле возможность перекомпилировать ядро под свои нужды , одно из основных приимуществ Linux.

Теоретически большого влияния быть не должно, так как используется та часть кода, которая необходима, а прибабасы пока не нужны не используются. Критично только использование памяти на старых компах, но с другой стороны загрузка модулей требует времени. Но ядро под себя собрать все же стоит, по крайней мере будешь знать, что у тебя есть, чего нет.