В качестве «менеджера» можно использовать плагин pathogen, который позволяет не сваливать все плагины в кучу, а устанавливать каждый в отдельную директорию (bundles). А бандлами уже довольно просто управлять и без менеджера.
Хотя с некоторыми плагинами этот фокус не проходит, к сожалению. Но большинство остальных управляются с лёгкостью.
А git, очевидно, позволяет хранить историю изменений.