поддержка процессора зависит от ядра системы . Современный андроид свободно поддерживает многоядерные arm процессоры . Даже у обычных линуксов куча дистрибутивов для установки на arm
А при чём здесь OpenMP? Во-первых, про доступ к сорцам софта речи в стартопосте нету, во-вторых, а где вообще гарантия, что используемые софтом алгоритмы параллелятся? Это уж не говоря о цене вопроса переписывания оного софта на OpenMP.
Ну тут смотря что оно дергает, можно распараллелить код в библиотеках, которые юзает приложение, можно патчить байткод, но по простому сделать невозможно.
По трудозатратам это эквивалентно декомпиляции приложения, восстановлению логики работы и созданию аналога, но с изменённым алгоритмом, использующим преимущества параллельной работы.
Если это — свободный софт, можно попробовать параллелизуемые вещи переписать на openMP, как уже говорили. Если же огороженная фигня, то забудь! Сомневаюсь, что при запуске этой фигни в несколько процессов, действие будет эквивалентным нескольким потокам.