uni-algo 0.8.0 - библиотека алгоритмов Unicode для C++

Посоветовал использовать uni-algo в ada-url/idna. Теперь Ada 2.* - быстрая C++ библиотека для парсинга URL полностью MIT. :)

Забыл добавить, что есть uni-algo-single-include с единственным инклюдом (1.9M).

Из новости непонятно зачем оно нужно.

Точно быстрая? Есть подозрение, что https://github.com/simdutf/simdutf быстрее.

В simdutf есть только декодирование utf, валидация и конвертирование.

А в uni-algo ещё и свойства кодпойнтов, преобразование регистра, сегментация, нормализация и транслитерация некоторых алфавитов.

уни, пасс, актив… и еще 100500 гендеров

быстрая C++

А на Си еще быстрее бы была, потому что бесклассовое общество прогрессивнее… Ну а на ASS-емблер - и подавно, ведь ядерную войну переживут только одноклеточные. Хоть они с эволюционной точки зрения самые самые живучие, это их не делает лучшими, как и эта очередная сверхбыстрая чудо-библиотека не равно лучшая. Спасибо, что не на ржавом крабе…

И, конечно же, я ее буду использовать нигде. Я думаю стоит в новостях какие-нибудь утилиты рассматривать вместо узкоспециализорованных библиотек, лучшие из которых тупо ищутся через поиск с фильтрацией по звездам. Стоит, наверное, минимум фреймворки рассматривать, да и то не все, то что какие-нибудь новые pyramid или tornado вышли, ну или koa - интересно примерно никому.

Я думаю стоит в новостях какие-нибудь утилиты рассматривать

Классно! Когда начнёте?

тупо ищутся через поиск с фильтрацией по звездам

А утилиты не ищутся?

Ну вот утилита хорошая есть topgrade можешь использовать, понравится, обзор напишешь (у меня просто лапки)

утилита хорошая есть topgrade

Которая на «ржавом крабе»? :)

обзор напишешь

Нет уж. Я пишу только о том, что сам использую или пробовал.

он !краб, а рак всепожирающий, который напару с вирусом go-сексуализма захватят мир. да я просто накинул о чем можно написать, учитывая весьма специфическую публику, которая состоит в основном из непогроммистов

Вроде норм. Но зачем она нужна? Текстовый редактор писать?

Как замена многих функций тяжеловесной ICU или utf8proc.

Когда все функции ICU замените, позовите, а то уж очень ICU жирная

Обязательно, я вас запомнил!

Вроде норм. Но зачем она нужна? Текстовый редактор писать?

Обрабатывать юникодные строки. В частности, даже просто проверить две строки на равенство - в ублюдочном юникоде задача нетривиальная. Нужна библиотека. Сейчас все таскают libicu, но libicu сама по себе тоже ублюдочная.

std::string Вроде в большинстве GNU/Linux дистрибутивов unicode. Можно просто использовать operator==

И, конечно же, я ее буду использовать нигде

Всем это интересно примерно никак

std::string Вроде в большинстве GNU/Linux дистрибутивов unicode. Можно просто использовать operator==

Можно, но не всегда успешно: он для одинаковых по сути строк может выдать false. Если интересно, попробуй осознать что такое canonical equivalence и чем отличаются, например, nfd и nfc - https://unicode.org/reports/tr15/

Для любых операций с внутренностями контейнера (и для корректного не побайтового сравнения, в том числе), нужно уметь разбирать unicode строки. А там нюансов - заколебёшься. Нормализация, лигатуры, кодировка и ещё дофига нюансов.

Я у себя решил этот вопрос довольно-таки просто: использую в своих строках UTF-32. Для этого мне надо просто один раз преобразовать последовательность в UTF-32 или наоборот.

Ничего вы не решили. Надо брать либу и не выёживаться со своими костылями избавив себя от всей этой наркомании. А по юникоду плачет костёр.

Посмотришь на погромистов, все такие умные из себя, но то X сервер запилят, то юникод, то пхп какой, и начинаешь сомневаться.

std::string

tinyutf8 гораздо быстрее.

Не пробовал shareware из неё сделать? Под Windows помогало найти коллег.

Пока это самое странное сообщение в этом треде. :)

А если я stl и прочие связанные с ней приблуды на дух не переношу?

Сочувствую. Но есть откровенное дерьмо вроде ICU, я такое и сам никогда не заюзаю, в такую крайность тоже не надо. Разбираться же самому в Юникодной ахинеи, читать его стандарты - мне жалко своего времени (у меня был такой опыт). Очень жаль, что юникод получился вот таким, с ним всегда будут проблемы в софте, никто его толком не понимает.

Ну так когда ждать человеческие строки в плюсиках? Через пол-века сделают?

На самом деле, для большинства приложений достаточно просто уметь отличить один codepoint от другого (вспомним про то, что один codepoint в UTF-8 можно записать несколькими способами). Реже - уметь выполнять правильный collate в зависимости от локали и преобразование регистра. Ещё реже - поддерживать всякие хитрые диактрики и эмодзи.

В любом случае, работать с UTF-32 намного проще, чем с UTF-8 и UTF-16. Недостаток тут только один - потребление памяти в четыре раза увеличивается, т.к. вместо байта на code point надо хранить 4.

На самом деле, для большинства приложений достаточно просто уметь

Основное умение - отличать графемы друг от друга, а не кодпоинты. Это естественно и логично, мы не знаем чего там юзер будет на вход давать. Значит мы должны уметь анальные алгоритмы юникода (которые ещё и меняются), держать какие-то таблицы (которые так же меняются), которые классифицирует кодпоинты. А сравнение - вообще отдельный геморрой. Даром мне это удовольствие не нужно.

Если мы и ограничиваемся каким-то подмножеством, то это должно быть ASCII, единственное, что осталось чем-то адекватным и универсальным.

PS: я бы даже так сказал - Юникод окончательно закрепил что существует ASCII и какая-то хрень рядом на табуретке на птичьих правах. А это напрямую влияет на судьбу алфавитов в долгосроке, тренд задан.

А какие живые альтернативы юникоду были? Нет, просто набор кодовых страниц не предлагать - даже в случаи с кириллицей это головняк был, а наш случай это еще далеко не самое страшное, что может произойти с человеком…