Кодировка субтитров в mplayer

-subcp

Если mplayer собран с поддержкой enca, то достаточно в /etc/mplayer.conf один раз прописать subcp = enca:ru:utf8, и он будет сам определять кодировку.

Он будет определять или подставлять юникод?

Здесь UTF-8 - это кодировка по умолчанию, она используется, если enca не сможет ничего определить. В старых версиях MPlayer'а многобайтные кодировки почему-то не определялись, приходилось по умолчанию ставить UTF-8. В новых версиях всё определяется как надо, можешь по умолчанию поставить свою любимую кодировку, всё равно она не понадобится в 99,9% случаев.