iptables оптимальный бан

вноси в ipset ну и если все равно в бан, погляди на packet flow, таблица raw

в raw/PREROUTING через ipset - самый правильный бан т.к. он до conntrack.

может есть еще более простые способы?

nftables sets

По диапазонам будет лучше.