Просто pip может поставляться дистрибутивом и отставать по версии.

Если в системе нет исполняемого файла pip, но сам модуль pip установлен (в систему или текущему пользователю в хомяк или ещё куда то), то его всегда можно запустить как python -m pip.

А где обычно хранятся встроенные модули и сторонние модули?

Например модуль math где его искать? А pip в новых версиях Python идет в комплекте, насколько я понял. Он ставится как сторонний пакет или встроенный?

у меня обычно в /usr/lib/python3.7/site-packages/

pip в новых версиях Python идет в комплекте

нет

site-packages же для встроенных модулей?

По первой ссылке в википедиа:

Начиная с версии Python 2.7.9 и Python 3.4, они содержат пакет pip (или pip3 для Python 3) по умолчанию.

Например модуль math где его искать?

Он сишный, не нужно его искать. А пути динамически подгружаемых модулей ты всегда можешь найти в атрибуте __file__.

Например:

In [1]: import os                                                               

In [2]: os.__file__                                                             
Out[2]: '/usr/lib/python3.6/os.py'