размер message queue

Вообще-то в /usr/include/linux/msg.h можно поменять все эти параметры. После этого еще надо ядрышко пересобрать, и может быть даже libc. И даже после этого может не сработать. Не говоря уже о том, что старые проги могут заглючить (если уменьшать параметры). О бинарной совместимости программы с другими ядрами можно забыть :). Короче - это очень плохой способ. А другого ИМХО не существует. Юзайте другие IPC :).