iproute2

на http://www.docum.org/stef.coene/qos/faq/cache/28.html пишут

   (Answer)  (Category)lartc.org FAQ :                                         
              RTNETLINK Errors                                                  
              When you get a problem about this, make sure you enabled all      
              QOS stuff in the kernel. Compile everything in the kernel or      
              when you use modules, make sure they are all loaded.              
                                                                                
              Possible errors:                                                  
                                                                                
                * RTNETLINK answer: No such file or directory: handle does      
                  not exist                                                     
                * RTNETLINK answer: File exists: handle is already in use       
                * RTNETLINK answer: Invalid argument: Something else went       
                  wrong                                                         
                                                                                
              stef.coene@docum.org   

Я бы на ядро думал. Про то, что включать в нем написано на http://linuxadmin.chat.ru/pulsar/QoS.txt,
например

попробуй вместо http указать 1000 (числовое имя таблицы)

Спасибо за наводку, все так и получилось, при компиляции ядра не были добавлены необходимые фичи.

Соответствие между числами и именами таблиц задаются в /etc/iproute2/rt_tables