подробное руководство и примеры по работе: http://t16web.lanl.gov/Kawano/gnuplot/index-e.html
выбрать кодировку символов можно с помощью команды:
set encoding кодировка
Про русские шрифты написано здесь: http://mydebianblog.blogspot.com/2007/11/eps-gnuplot-latex.html
Про utf8 тут: http://statist.wald.intevation.org/utf8.html
Кроме MathCAD, остальные есть под linux, естественно, стоят денег.
MatLab можно попробовать заменить на SciLab или octave вместе с qtOctave или Octave Workshop.
SciLab более функционален. но его синтаксис несколько отличается от MatLab.
Про Octave можно подробнее почтитать здесь: http://xgu.ru/wiki/GNU_Octave
Для символьных вычислений есть maxima и графические интерфейсы xmaxima и wxmaxima
Молекулярная механика:
и многие другие
полуэмпирические методы:
чисто квантовые методы:
и многие другие
Учебник по использованию PCGAMESS в связке с wxmacmolplt: http://amor.cms.hu-berlin.de/~checinsm/docs/PCG-Tutorial-Usage.pdf
Большая часть программ для рисования позволяет и посмотреть результат, но есть и специализированные пакеты, предназначенные в основном только для визуализации:
и многие другие
Колебательные спектры красиво рисует gausssum.