Если syscall добавляешь..

куда добавляешь? В ядро или приложение?

Как можно добавить сискол в приложение?
В ядро через модуль, ессно.

Нет, зачем?

ну не вызывался конкретно этот сисколл приложением, а теперь вызывается

А как они линкуются? Я так понял, что по номеру. Где проверить этот номер.
Я не про стандартные syscall'ы, а про самописные.

По номеру, ага. Номера можно посмотреть в include/uapi/asm-generic/unistd.h Берешь любой незанятый, вешаешь на него свой обработчик, а из user space код уже по нему через sysenter долбиться будет.