> после запуска system моя программа останавливаеться и мне никак из нее не закрыть ее
Немного непонятно, из кого что нельзя закрыть :-)))
Если ты хочешь вначале запустить, а потом из своей программы
"закрыть" эту "еще одну программу", то в дополнение у fork()
и exec() тебе надо:
man 2 kill