выполнить программно на С асс. файл

Что под этим подразумевается? Текст на ассемблере? Или уже оттранслированный байт-код под конкретный процессор? В общем случае единственный выход - написать интерпретатор/эмулятор.

в защищённом режиме - танцы с бубном и тамтамом, чтобы разрешить исполнение сегмента fptr, или что гораздо проще man dlopen,dlsym (если известна точка входа и то что вы прочли - elf)