Ну, можно, конечно.
ТС не сказал ничего про конкретные характеристики системы, так что мы гадаем на кофейной гуще. P2 233 МГц с ОЗУ 32 МБ это одно,а P3 1.2 ГГЦ c 512 МБ памяти потянет любой современный дистрибутив, при этом и то,и другое подходит под описание.
Боюсь debian буте тормозить при свопинге на новых ядрах. ЛУчше alt-linux с lxde либо ручками перебрать ядро в дебиане (сама система может быть новой но ядро лучше взять 2.6.18)
Если архитектура на мелкой машинке и большой одинакова, скажем, x86, то целевая компиляция не нужна, хватит chroot'а. Даже Gentoo в этом случае на большой машинке иметь не обязательно в качестве хостовой ОС. Только с chroot'е.