специалистам по УМФ

погуглить с ключевыми словами laplace equation star-like doamin

гуглить ani2d, там можно задавать любую область, примеры решения лапласа есть в архиве

Обычно, для задач этого типа применяют метод Ритца (или, в линейном случае, метод Галёркина).

В задачах "плоской теории упругости" (оболочки, пластины) хорошо работает метод конечных элементов.

Для задач, рассматриваемых на областях с искривлёнными границами (например, шестерня), разработана теория искривленных (изопараметрических) элементов.

P.S. Из литературы можешь почитать: К.Ректорис Вариационные методы в математической физике и технике.

И погуглить с ключевыми словами "вариационные методы"

небольшое уточнение, меня интересует аналитическое решение. использование численных методов дадут только приближенное.

В вариационных методах и получается аналитическое решение в виде разложения по ортонормированному базису подходящих функций.

А численные методы - это уже второй этап, когда надо получить цифровые значения, рассчитанной шестерёнки.

гы гы гы ну открываешь Самарского и фтыкаешь :)