Как узнать юзает ли некоторая прога nss при обращении к /etc/passwd или обращается напрямую

strace

Лучше уж ltrace.

Думаю что не поможет. В обеих случаях будет вызван open("/etc/passwd",...) но из разных мест. strace не сможет определить откуда был вызван open из проги или из nss

gdb?

Так ты смотри, дергается ли в ltrace pam. Если да, то смотри в strace, открываются ли файлы, относящиеся к nss.