Начиная с какой-то версии core utils это не работает. На ЛОРе обсуждалось примерно с полгода-год назад.
Так что желающим удалить всё рекомендуется заменить / на /* или использовать опцию --no-preserve-root (ни то ни другое сам не пробовал, должно по идее работать).
P.S. Дабы избежать "У меня тоже coreutils версии 6.7, я решил попробовать и всё удалилось" (например из-за того что в вашем дистрибутиве эта возможность была оставлена патчем от дистростроителей для обратной совместимости (скрин снят на арче), или по какойто другой причине) замечу, что мой пост и скриншот очень похожи на подставу. Хотите узнать подстава ли это? Проверьте :)
Уважаемые модераторы, забаньте toxa, уж пожалуйста! К линаксу этот ксакеп'ный авторитет не имеет никакого значения. Вспомните хотя бы как он облажался своими понтами на CC'06.