могу посоветовать копать от ptyfork, есть ещё полезная книжка "Разработка приложений в среде линукс. второе издание Майкл К.Джонсон, Эрик В. Троан" - там даже с подробными примерами, и описано несколько способов создания дочернего процесса с подчинённым pty.