как сделать маленькую glibc

А зачем?

Если тебе надо ее использовать для конкретной проги, просто линкуй ее статически.

Если тебе надо ее использовать для нескольких прог, собери все, что не main'ы, в одну so-шку.

uClibc(uClibc.org) - мне очень нравится. Diet-libc - тоже забавная штука, хотя более сырая.

можно последовать советам из LFS-Book и сделать objcopy --strip-debug - только осторожно.