[nginx] запрет на download файлов больше 5мб

встроенным перлом можно.

а пример реализации можешь подсказать?

http://sysoev.ru/nginx/docs/http/ngx_http_perl_module.html#example

perl_set  $toobig  '
        sub {
            my $r = shift;
            return "" unless -f $r->filename;
            return "1" if 5242880 < -s $r->filename;
            return "";
        }
    ';

Может быть ограничение стоит в настройках fast-cgi а не в nginx ?

к примеру если будет залит какой то «шел»(крутиться не мало сайтов, за всеми не уследить), и базу снимут дампом, чтобы не смогли её целиком слить

Если уж зальют шелл - то какая проблема порезать базу на кусочки и слить частями?

база весит 3 гига, затрахаються =)