Сохранение прав для Usb-Com адаптера

В общем такая проблема есть компьютер на котором крутится демон. Этот демон работает с Com портом , которые представлен адаптером USB-COM.По умолчанию права на доступ к Com порту ограниченны супер юзером.Я не хочу давать права суперюзера демону, соответственно у Сom порта были изменены разрешения для возможности работы под любым юзером .Но возникла проблема если извлечь из USB разъема а затем вставить обратно адаптер , права на Com (ttyUSB) сбрасываются обратно на суперюзера.Возможно ли как то этому противодействовать (сделать так что бы права оставались не изменными).