как узнать сколько памяти выделил кернел через *malloc()-и всех сортов?

*malloc() - это не kernel, это libc. А kernel - это сдвиги указателя heap-вершины соответствующими вызовами (brk).

А для macosx есть утилита malloc_history: https://developer.apple.com/library/mac/documentation/performance/Conceptual/...

ты не понял: *malloc() это шаблон для kmalloc(), kzmalloc(), vmalloc() и компании

/proc/slabinfo

vmalloc()

vmalloc - это совсем другое

Полагаю, есть вариант пропатчить ядро, добавив счетчик для каждого *malloc()-вызова с инкрементами и экс^Wдекрементами.

vmstat -m