можно ли сконфигурировать разные upstream для веток по регекспу или префиксу?

А как именно ты создаёшь локальные ветки? Потому что git checkout -b my-new-branch remote/upstream-branch автоматически включает трекинг. Но это от конфига зависит, смотри --track/--no-track в man git-checkout.

Для git checkout -b my-new-branch remote/upstream-branch нужно чтобы remote/upstream-branch существовала. А я создаю совсем новую ветку.

Сейчас получается что надо делать так:

$ git checkout -b custom/smth
$ git push -u custom

... и дальше работать

И вот этот второй шаг с push -u надо каждый раз делать и не забывать. А хочется чтобы оно само.

А, тогда не знаю. Видимо только свои скрипты-обёртки писать.

Возможно, это можно делать из post-checkout хука:

   This hook is invoked when a git checkout is run after having updated the
   worktree. The hook is given three parameters: the ref of the previous
   HEAD, the ref of the new HEAD (which may or may not have
   changed), and a flag indicating whether the checkout was a branch checkout
   (changing branches, flag=1) or a file checkout (retrieving a file from
   the index, flag=0).