Хватит курить всякую дрянь. Матроска - это контейнер. А внутри хоть RealVideo может быть. А HD обычно - H.264. Его и надо использовать.
Лично я предпочитаю libav'ишную реализацию, x264 недолюбливаю. Если есть деньги (нет совести) и навык сборки патченного mlayer, то CoreAVC однозначно, ибо шустрейший.