Использовать SDL только для создания окна, загрузки имиджей, обработки инпута. Все остальное делать с помощью OpenGL. Но я не совсем понял, что вам нужно сгладить? Целиком фреймбуфер? Для чего?
не думаю что ты найдешь магическую функцию СГЛАДИТЬ_ЭТО, бери любой алгоритм и реализуй, или бери любую библиотеку, чем бы ты не рисовал, в конечном счете это битмап ведь. или бери шейдеры. да что угодно бери, но волшебного тумблера не будет
Делайте рендер в текстуру. Ставьте этой текстуре сглаживание, стретчете ее до нужного размера. Честно, я все никак не могу понять, какое сглаживание вам нужно.
Как в эмуляторах Sega, например. Обычно оно называется HQ2X и выглядит достаточно красиво. Сейчас копаюсь в гугле, но пока так ничего и не нашёл. Продолжаю поиски
SDL - это достаточно низкоуровневая библиотека, освобождающая от геморроя с кроссплатформенностью. Такие вещи, как тесселяция и сглаживание, реализуются самостоятельно. Про алгоритмы сглаживания можно прочесть на википедии: http://en.wikipedia.org/wiki/Spatial_anti-aliasing