в выводе ps или top'a вроде есть виртуальная память процесса и резидентная. AFAIU резидентная это то что реально в памяти. То есть если резидентная очень маленькая, то процесс в свопе. Тут я могу ошибаться.
Но сама постановка вопроса "убивать тех кто занимает своп, чтобы освободить своп" плохо пахнет.