Сложный вопрос - с этим проблемы, если только читать, так ничего, а вот как писать тэги, так вообще кранты.
Одно время была очень известна Id3Lib - C++, довольно полный API, но много недостатков - куча багов, поддержка отстуствует, последний релиз был в 2003 году.
Я сейчас пользуюсь libid3tag (делает так же фирма что и mad) - маленькая библиотечка на C, но вроде почти все нужное есть. Преимущество в том, что она довольно широко используется. Зато у них хоть релизы регулярные.
Еще вроде есть куча реализаций, например, taglib, во многих плеерах, как в xmms тоже свои реализации. Так что выбор действительно труден.