Отключить версионирование файлов для одного подкаталога git

https://git-scm.com/docs/gitignore?

Добавить этот каталог в .gitignore и использовать для него другой механизм синхронизации. Git такое не умеет, это vcs для программного кода, а не какая-нибудь энтерпрайз-вики-система

Сделать из этого каталога git submodule.

submodule будет хранить версии.

Нет, версии будет хранить отдельный репозиторий этого подмодуля. А в основном репозитории будут подтягиваться только файлы определённого коммита репозитория подмодуля.

Скорее всего это бесполезно. Если цель - не хранить старые версии ради экономии размера, то нет, они также будут храниться и чекаутиться. Если цель - не хранить историю этих файлов в основной репе, но нет, там вместо них будет история обновлений сабмодуля. Ну разве что это позволит пропустить часть коммитов.

Никак. На старые версии файла ссылаются коммиты, если их удалить то нарушится целостность репы и старые коммиты нельзя будет зачекаутить. Если изменить ссылки в старых коммитах на последние версии файлов (это можно сделать через filter-branch), то хэши коммитов изменятся и получится новая история никак не связанная со старой и все изменения поверх старой придётся переносить через rebase.