GPU кластер VS обычный кластер?

Это зависит от характера решаемых вычислительных задач. Если алгоритм получится очень хорошо распараллелить, то решение с GPGPU может оказаться быстрее за счёт поддержки векторных вычислений и большей плотности ядер на плате и, как следствие, меньшей задержки на передачу данных между ядрами.

Почитай в Wikipedia про GPGPU, могут быть ограничения на типы данных: http://en.wikipedia.org/wiki/GPGPU#Applications

Если между нодами постоянно будет идти обмен данными, то tesla тебе ничего не даст. Ну если ты конечно ноды не соединишь интерфейсом с пропускной способностью PCI-E или выше.

Если алгоритм хорошо ложится на линейную алгебру и по памяти умещается в память теслы, то однозначно лучше теслу (а лучше не одну, а столько сколько позволяет материнка).

Рекордные терафлопы полученные на Tesla - это одинарная точность. Потом с неё перенести софт на другой кластер будет сложно. Я бы выбрал пока обычный в любом случае.

telsa аппаратно и double поддерживает

Только производительность при этом падает в несколько раз.

>Что лучше покупать для сложных вычислений

Если не знаешь для каких задач, то кластер лучше не покупать вообще. А если знаешь - то подобных вопросов не возникнет.

>Только производительность при этом падает в несколько раз.

Скорее даже - на порядок :(