Как разделить многобайтовую строку на несколько частей?

В utf-8 легко отличить первый байт символа от продолжения: байты продолжения в побитовом представлении обязательно имеют вид 10xxxxxx. Поэтому если хочешь считать именно символы, а не байты, то когда просматриваешь строку нужно пропускать байты вида 10xxxxxx.

как резать-то? почему нельзя порезать например по 140 символов, моя мобила так и режет. Вот sed-код

sed -r 's/.{,140}/&\n/g'

ИМХО разве нет стандартной функции для задачи ТС? (самой задачи нет, потому мне это не слишком понятно).

Какой функцией на C можно порезать на эти 140 (или неважно сколько) символов? Но именно символов, а не байт.

готовые функции для utf8 есть в glib. либо делать как написал Manhunt.

Например, g_utf8_offset_to_pointer в цикле.

В utf-8 легко отличить первый байт символа от продолжения: байты продолжения в побитовом представлении обязательно имеют вид 10xxxxxx. Поэтому если хочешь считать именно символы, а не байты, то когда просматриваешь строку нужно пропускать байты вида 10xxxxxx.

Похоже это самое простое и быстрое в реализации решение.

Ну разве еще попробовать заморочки с mbsrtowcs в цикле.

Что такое «multibyte» - зависит от локали. Если там не mb, а точно UTF-8, то искать байт & 0x80, иначе единственный правильный способ - mbrtowc в цикле.

мне кажется, надо сначала выставить локаль, а потом можно разделять сколько угодно стандартными функциями из libc, вроде strtok и других

мне кажется, надо сначала выставить локаль, а потом можно разделять сколько угодно стандартными функциями из libc, вроде strtok и других

В моем случае не вариант. Задача стоит так: если строка слишком длинная, ее надо разделить на набор коротких. Какие в ней искать лексемы?

http://utfcpp.sourceforge.net/