Как поставить квоту на папку?

пока ни как
или выенсти папку на отдельную FS.
Но лучше ставить квоты на юзверя и не заморачиваться.

Сам не проверял, но возможно сработает: создать пустой iso-файл на 50 мегабайт и замонтировать его rw.

Ну причем тут iso файл? Но вообще то это вариант! Создаешь файл нужного размера (dd if=/dev/zero of=/var/quota.1 bs=1024 count=...), размечаешь (mke2fs), монтируешь через loop на каталог, и можно настроить квоту...