Есть всякоразные реализации blas и lapack, в том числе и шибко оптимизированные, вроде библиотек от Интел (не помню, где дают, но точно на халяву), или http://math-atlas.sourceforge.net/
Для любителей Цэ есть GNU Scientific Library, там тоже кой-какая линейная алгебра наличествует.