Исправление deadNightTiger, (текущая версия) :
$ lua
Lua 5.1.5 Copyright (C) 1994-2012 Lua.org, PUC-Rio
> editor = 'xterm -e "vim \\"%s\\""'
> print(editor:format("test"))
xterm -e "vim \"test\""
Исходная версия deadNightTiger, :
$ lua
Lua 5.1.5 Copyright (C) 1994-2012 Lua.org, PUC-Rio
> editor = 'xterm -e "vim \\\"%s\\\""'
> print(editor:format("test"))
xterm -e "vim \"test\""