Ничего не делать. SVGALib по определению работает только от рута. Если надо смотреть именно в консоли, ищите framebuffer-смотрелку. Или (отвратительное решение, за которое нужно обрывать руки) -- suid на вашу смотрелку. Чуть более хорошее решение -- man sudo, man sudoers и дать юзерам пускать вашу смотрелку от имени рута.