libhunspell: разбить текст на слова

где, блин, парсинг и токенизация?

В библиотеке парсинга и токенизации. Hunspell — это спеллчекинг.

sed «s/\W/\n/g» | sed «/^$/d»

awk -v OFS='\n' '$1=$1'

Утилита командной строки умеет разбирать текст.

Она не спотыкается на точках, запятых и прочем.

Предлагаешь вызывать утилиты командной строки через system() ?

sort | uniq

sort -u же.

hunspell. Она умеет. Почему этого нет в библиотеке?