OpenWRT точно должен влезть. Сейчас работаю на проекте где MIPS железяка с 64 мегабайтами, в обычном режиме с запущенными приложениями еще мегабайт 30 остается свободными. Но надо кастомизировать, да.
Под «обычным режимом» имел ввиду работу нашей прошивки, когда не выполняется некоторые особо прожорливые для памяти операции - у нас это, например, отсылка логов на бэкенд или обновление прошивки. Сам образ OpenWRT содержит только необходимое для работы наших программ.
судя по этому процессор у тебя sama5dX, без видеодекодера легко все заработает, для декодера надо много памяти, так что он либо вообще не заработает либо заработает с ограниченным разрешением, но к arm это отношения напрямую не имеет..