LINUX.ORG.RU
for enc in list_known_text_encodings():
    post_article(text_encoding_article_template().specialize_for(enc))
Begemoth ★★★★★
()

странная статья, кто работает с кириллицей и так это знает

а вот о " string.decode «ignore» " ни слова, а для обработчика ошибок частенько так надо

Morin ★★★★★
()

Я думаю что в 2026 никому. Ну кроме, может, Столярова и других таких же. Я бы не отказался от статьи на тему того что я как мантейнер свободного софта, библиотек, сайтов и пакетов, мог бы сделать чтобы максимально больно поломать разнообразное зловредное легаси (как 8бит кодировки, C, X11, IPv4, plaintext http, TLS<1.3) у как можно большего числа людей.

anonymous
()

Какие-то сниппеты кода, а не статья.

К счастью, почти ни с чем кроме utf8 не встречаюсь последние фиг знает сколько лет.

skyman ★★★★★
()
Ответ на: комментарий от anonymous

Интернет существует больше чем ты. Поэтому ты в нем никто и мнение твое ничего не значит. Если сейчас общеупотребительна utf-8, то за прошедшие годы был накоплен большой массив текстов в принятых тогда кодировках. Взять те же архивы фидошные, или библиотеки сетевые, почтовая переписка, логи чатов.

А в сабже нет ничего koi8r-специфичного. Тоже самое применимо к любой другой кодировке отличной от деолфтной. Если только лень документацию почитать и нужна краткая шпаргалка

cobold ★★★★★
()
Последнее исправление: cobold (всего исправлений: 1)
Ответ на: комментарий от cobold

Интернет существует больше чем ты

Не надо делать предположений, из-за которых ты сядешь в лужу. Я застал и зарю рунета, и фидо.

то за прошедшие годы был накоплен большой массив текстов в принятых тогда кодировках

Я в курсе, и решение здесь - сконвертить их в utf8 (для чего инструментов уже навалом), и забыть про 8бит навсегда, а не городить код, умеющий работать с чем-то кроме юникода.

anonymous
()
Ответ на: комментарий от saahriktu

Да видел я эту «статью». На 3 страницы мусора, ценной информации в которых - «существуют encode и decode». При этом не упомянуто даже что будет если попытаться закодировать символы которых нет в koi8-r.

На тот случай если сервер ждёт текст в KOI8-R.

Так на этот случай нужно выдавать ошибку, а не конвертить в недокодировку.

anonymous
()

в сабже нет ничего koi8r-специфичного. Тоже самое применимо к любой другой кодировке отличной от деолфтной

anonymous
()

Кому нужна относительно свежая статья про работу с KOI8-R в Python'е?

Кто бы это мог быть... Ума не приложу.

slackwarrior ★★★★★
()
Ответ на: комментарий от anonymous

Я бы не отказался от статьи на тему того что я как мантейнер свободного софта, библиотек, сайтов и пакетов, мог бы сделать чтобы максимально больно поломать разнообразное зловредное легаси (как 8бит кодировки, C, X11, IPv4, plaintext http, TLS<1.3) у как можно большего числа людей.

А называлась бы она «Как стать хреновым майнтейнером», видимо.

anonymous
()

Не ИИ писал случайно? Одна вода, и непонятно, зачем вообще нужна целая статья. Документация у питона отличная, описание работы decode и encode в ней есть. Да и оно даже интуитивно как-то понятно, достаточно просто знать о наличии этих методов…

CrX ★★★★★
()
Ответ на: комментарий от vtVitus

Конечно, раньше многое было проще. Но «проще» далеко не всегда значит «лучше».

Сейчас возможностей больше чем раньше.

saahriktu ★★★★★
() автор топика
Ответ на: комментарий от saahriktu

Ну, там не только про decode() и encode().

Ну да, про open() ещё. Но как работает open знают плюс-минус все, кто пишет на питоне — это то, что изучается на довольно раннем этапе.

CrX ★★★★★
()
Ответ на: комментарий от bread

Ну так ещё не вечер, осилит попозже. Зато как раз будет максимально удобнее.

saahriktu ★★★★★
() автор топика
Ответ на: комментарий от anonymous

Я думаю что в 2026 никому. Ну кроме, может, Столярова и других таких же.

Сомневаюсь, что ему нужно. При всей странности этого персонажа, уж что-что, а документацию он читать умеет — вряд ли ему нужны такие вот статьи для дошколят уровня «как подтирать жопу».

CrX ★★★★★
()
Ответ на: комментарий от bread

Интерпретируемые языки нужны когда перезагрузить данные которые уже в памяти дольше и затратнее чем на ходу откомпилировать новый код. Код может вводить человек может робот это не существенно.

anonymous
()

понимаю utf-8 головную боль снял, но однобайтные кодировки имеют большой профит, работа с ними на порядки быстрее, иногда перевести базу с utf в неё профит в 100 в 10 раз даёт что решает.

И ошибки в utf роняют glibc и os не редкость, musl от такого спасает.

s-warus ★★★★★
()

Жду следующую статью про работу с кодировкой windows-1251!

dicos ★★★
()
Ответ на: комментарий от cobold

Интернет существует больше чем ты…
…Если сейчас общеупотребительна utf-8, то за прошедшие годы был накоплен большой массив текстов в принятых тогда кодировках. Взять те же архивы фидошные, или библиотеки сетевые, почтовая переписка, логи чатов.

О–о–о, подержите моё молоко с пепсиколой 1:1 (stirred not shaken), сейчас будет прохладная былина:

Лет n–дцать тому назад Гугл бодро отрапортовал, что всосал архивы юзнета и ФИДО, и теперь они навсегда будут доступны в Google Groups. Ну, отрапортовал и отрапортовал. Норм, чо. Больше бэкапов — не меньше бэкапов, дело хорошее.

Шло время, фтп с настоящими дампами из эх попередохли и позакрывались… И вдруг мне понадобилось найти что–то из той эпохи, до 2000–х. Просто поиском не гуглится (что уже должно было насторожить).

Окей, гугл, что там у тебя… Нашёл дампы с гуглегрупс на вебархиве, множество файлов на кучу гигабайт. Скачиваю, открываю, готовлюсь натравливать grep… и вижу квадратики… КВАДРАТИКИ, Б@#$^&*!!!!!!11111адин1адин

Оказалось, всосать–то гугл всосал, но про кодировки, отличные от CP437 тот нехороший человек, который был ответственен за это поглощение, не подумал. Теперь в Google Groups доступны многогибайтные дампы, состоящие целиком из Unicode Unknown Character. Дата, время, структура фраз сохранена, английский текст тоже, а всё что было в koi8-r — парам–парам–пам, фьють… Причём сообщения, пришедшие уже после поглощения архивов, в эпоху фидонет-over-IP — отображаются нормально, что дополнительно маскирует проблему.

З.Ы. Если у кого есть старые дампы фидошных эх, в сыром формате — залейте на archive.org, пожалуйста. Или хотя бы на файлообменник и дайте ссылку где скачать. Немного из старого ru.linux и ru.unix сохранилось на frozenfido.ru, но в целом там лишь малая толика.

anonymous
()
Ответ на: комментарий от s-warus

И что же сейчас можно перевести в однобайтовую кодировку? Отвечу про даже англоязычные страны: ни-че-го.

Хотя бы потому, что сейчас люди хотят использовать эмодзи, которых нет ни в одной однобайтовой кодировке. Потому если софт/бд не поддерживают хранение эмодзи, выльется такой поток негатива от пользователей, что…

Chiffchaff
()

Объективно, статья очень слаба.

Можно было бы рассказать про кодировки, про внутреннее представление, про то, что и зачем появлялось. Про способы определить кодировки, как быть с ошибками перекодирования из-за того, что в одной из кодировок отсутвуют нужные символы, и т.д. и т.п. Вместо этого мы видим два сниппета кода, которые способен написать даже любой вкатун.

Chiffchaff
()
Последнее исправление: Chiffchaff (всего исправлений: 1)
Ответ на: комментарий от saahriktu

На тот случай если сервер ждёт текст в KOI8-R.

Надо было сразу тогда привести информацию, в каком музее можно найти такой сервер, и зачем с ним общаться.

Chiffchaff
()
Ответ на: комментарий от s-warus

с utf в неё профит в 100 в 10 раз даёт что решает.

Ёлки зелёные… А я, дурак, utf8mb3 в utf8mb4 конвертирую…

lonelywoolf
()
Ответ на: комментарий от anonymous

но про кодировки, отличные от CP437 тот нехороший человек, который был ответственен за это поглощение, не подумал.

Единственная стандартная кодировка fidonet - 7-битный ASCII.

pasquale ★
()
Ответ на: комментарий от Chiffchaff

Хотя бы потому, что сейчас люди хотят использовать эмодзи, которых нет ни в одной однобайтовой кодировке

Люди хотят гифки и видео, а эмодзи это от бедности. К тому же вспомните анимированные смайлы в асечках и на форумах. И все это богатство без идиотского раздувания таблиц юникода всякими беременными желтокожими старичками

cobold ★★★★★
()
Ответ на: комментарий от cobold

Люди хотят гифки и видео, а эмодзи это от бедности.

Не готов обсуждать, по-моему, это про сравнение мягкого с тёплым.

Суть в том, что разработчика, который скажет: «у нас БД будет в однобайтной кодировке ради скорости», распнут.

Не говоря о том, что оно и без эмодзи не взлетит, просто потому что, как многие за 20 лет успели забыть, не иметь возможность в одной кодировке писать на нескольких языках - это пипец как больно.

Chiffchaff
()
Ответ на: комментарий от CrX

Я из-за тебя даже по ссылке перешёл.

Не ИИ писал случайно?

Либо бредогенератор, либо неавтоматический флудер (раньше их копирайтерами называли).

зачем вообще нужна целая статья

Там нет статьи, 95% визуального объёма - графический мусор и увеличенные шрифты. Остальные 5% - несколько предложений ни о чём.

firkax ★★★★★
()
Ответ на: комментарий от Chiffchaff

Потому если софт/бд не поддерживают хранение эмодзи, выльется такой поток негатива от пользователей, что…

Как будто не плевать. Пиши софт для своих нужд, всех недовольных шли нафиг. Если лично тебе не хватает однобайтных кодировок - другое дело, но надо так и писать было тогда.

firkax ★★★★★
()
Ответ на: комментарий от Chiffchaff

А ты не заморачивайся этим рыночным разводом про клиентов, конкурентов итд. Делай качественный продукт в своём понимании.

firkax ★★★★★
()
Ответ на: комментарий от Chiffchaff

Ну, браузер вот общается. Правда браузеры на питоне обычно не пишут.

зачем туда заходить даже человекам?

Новости на лор потырить например.

firkax ★★★★★
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария