Возможно ли настроить OpenVPN лишь для определенных IP?

Да.

Да, прописав маршруты к этим ip через тоннель. Маршрут по умолчанию при этом должен идти в обход тоннеля. man route

Через маршруты, но ты наверняка хочешь не отдельные ip, а отдельные сайты, так ведь?

Не факт. SSH и MySQL порты тоже нужны.

Спасибо! Ознакомлюсь.