проверить убунту на руткиты

Сравнить с исходными из реп.

rkhunter

Проверить конечно можно, но после такого нужно переустанавливать, потому-что доверие уже потеряно.
Вот например можешь использовать это в качестве базовой инструкции.

Только переинсталляция, только хардкор.
Извини.

Спасибо, еще нашел такую тулзу https://github.com/mzet-/linux-exploit-suggester

Как мне проверить что у меня все бинарники и ядро у меня не модифицированные.

Переустановить пакеты?

Стоит начать с LOR Security FAQ (которого на LOR, кстати, уже нет), пункт 2.1.

Нужно делать регулярные бекапы, чтобы была возможность сравнить хеши и восстановить безопасную среду.

Как мне кажется, бекапов у тебя нет, иначе бы такой вопрос не возник. Поэтому мой тебе совет: сохрани список установленгых пакетов, грохни систему под ноль и установи все с чистого листа.