Юзай Maxima - она полностью на довольно таки портабельном Common Lisp-е написана, её легко встраивать в свои приложения (или, наоборот, расширять её новой функциональностью). Axiom - тоже на common lisp-е писана, тоже фришная.
1. AI не имеет к аналитическим вычислениям ни малейшего отношения.
2. Куча CAS (Computer Algebra System) написана на Лиспе. Reduce (IMHO исторически первая "крутая" система для аналитических вычислений, до сих пор непревзойденная по части полиномиальных операций) был на Лиспе (сейчас ядро, вроде, на Це переписали).