Именно для таких целей рекомендуется поставить в LFS простенькую пакетную систему типа pkg-tools и прикрутить checkinstall. В прочем, что уж там - тебе хоть польза есть - дополнительный опыт как никак :)
А удалить легко - как я уже говорил, ставишь нужный софт, компилируешь перл с такими же параметрами, заворачиваешь в пакет, ставишь его поверх, и стандартными ср-вами сносишь
Ну почему так категорично, можно и make uninstall, только думаю это сработает только в том случае если это одна и тажа версия. Поэтому действительно лучше юзать пакет мэнежер.