Как в Maxima решить уравнение целочисленно?

assume(x, integer)?

Ну во-первых не assume,а declare(x,integer);
Но это врятли решает проблему.

уравнение Пелля - это x^2 - dy^2 = 1, решается элементарно с непрерывными дробями

> уравнение Пелля - это x^2 - dy^2 = 1, решается элементарно с непрерывными дробями

это частный случай ур.Пелля. В общем виде оно
a*x^2 + b*x*y + c*y^2 + d*x + e*y + f = 0.
Мне надо несколько таких именно в общем виде решить.

Нет, уравнение Пелля - это именно то, что я написал, а у тебя просто диофантово уравнение второй степени с двумя переменными (см. http://mathworld.wolfram.com/PellEquation.html). Mathematica умеет такое решать - Reduce[f[x, y] && Element[x|y, Integers]] (кстати там об этом тоже написано).

Mathematic-и у меня нет. Может подскажите, где почитать как самому решить такое уравнение в общем виде.

> Ну во-первых не assume,а declare(x,integer);

Ну да, прошу простить, перепутал с Maple. declare.