Кому нужна относительно свежая статья про работу с KOI8-R в Python'е?

поэтому ни кто из utf не будет делать однобайтное, это наоборот старую в utf задумается: стоит ли?

Пиши софт для своих нужд

Своих у кодера нет, если это профессия. Да и просто так нафига что-то сейчас писать? Ещё поправить что-то я понимаю, а так в стол писать довольно глупо. Если предполагается хоть пара юзеров, придется учитывать реалии.

Ещё поправить что-то я понимаю, а так в стол писать довольно глупо.

Всё верно: исправляем отсутствие нужного софта хорошего качества - пишем его.

В кои-то веки я с тобой согласен. С другой стороны, иногда хочется, чтобы твоя работа пригодилась кому-то еще. И тут уже типа «сообщество», ишуи и прочие коммуникации.

А разработчика который сэкономит x2 памяти, диска и сети премируют. Потому что память нынче дорога, а деньги не считают только стартапы

…А потом у вас появляется клиент с фамилией «Ковалёв»…

Или два клиента. Один Артём Ковалёв, а второй — Björn Weiß.

А разработчика который сэкономит x2 памяти, диска и сети премируют. Потому что память нынче дорога, а деньги не считают только стартапы

Точно x2? Для преимущественно англоязычных текстов (html страница, например), разница будет на грани погрешности. Не говоя о том, что во всех приведенных местах используется сжатие, благодаря которому разница будет ещё меньше. За исключением разве что RAM, да и то спорно.

Думаю, разницу никто не сможет даже измерить. А вот ухудшение пользовательского опыта будет видно сразу. А разработка костылей для тех ситуаций, где надо использовать нечто большее, чем набор из ASCII, существенно усложнит и замедлит разработку.

Björn Weiß

Так и пишут в паспорте? Транслитерации не предусмотрено? А что если китайцы зайдут, там и utf-8 не хватит.

Чтобы за такое премировали, надо сперва написать максимально раздутое говно, потом подождать годика два, чтобы все прочувствовали боль, и только потом исправлять.

Преждевременная оптимизация - зло.

Конкретно эта страница браузера вместе с ресурсами занимает 1.2Mb. Если перекодировать в KOI8-R получается сохранить 31кб из них. Таких разработчиков нужно ремнём по жопе премировать и на онлифансе продавать, чтобы частично компенсировать причинённый ими ущерб.

Транслитерации не предусмотрено?

Это уже латиница вообще-то. Что должно быть записано в немецкомом паспорте у немецкого немца по имени Björn Weiß, проживающего в городе München по адресу Kurfürstenplatz, 13? Миша Беленький из Монастыровки, Царёв двор 13 или ещё какие будут версии?

А разработчика который сэкономит x2 памяти, диска и сети премируют.

Разработчика, додумавшегося сделать это через однобайтную кодировку выкинут по статье с волчьим билетом. Если нужно экономить память, диск и сеть на текстах, их сжимают, а после сжатия разница между восьмибиткой и utf-8 становится примерно никакой. Не поленился, нашёл специально для тебя «войну и мир» в 8 битах:

% cat vim.txt|wc -c                               
1543427
% cat vim.txt|iconv -f cp1251 -t utf-8|wc -c
2730696
% cat vim.txt|bzip2 -9|wc -c                      
458468
% cat vim.txt|iconv -f cp1251 -t utf-8|bzip2 -9|wc -c
476762

Потому что память нынче дорога, а деньги не считают только стартапы

Это точно, поэтому предлагаю представить сервис который хранит прямо дохрена преимущественно кириллических текстов, и посчитать сколько будет стоить 5% железа под сжатые utf8 вместо 8 бит, и сколько будет стоить либо потеря всех клиентов которые не смогут залить туда тексты не ложащиеся в 8 bit (хотя бы просто с нормальной типографикой), либо, ещё лучше, когда все эти клиенты обнаружат что все их дохрена залитых текстов побиты.

понимаю utf-8 головную боль снял, но однобайтные кодировки имеют большой профит, работа с ними на порядки быстрее, иногда перевести базу с utf в неё профит в 100 в 10 раз даёт что решает.

Что, хотел написать 100, потом постеснялся и (недо)исправил на 10? Думаю как получены замеры нет смысла интересоваться.

поиск пушкин в базе библиотеке 0.3сек, конвертация в utf-8 полчаса 30*60 примерно 1000

думаю потребление памяти сервера загнало его в своп.

В среде завсегдатаев любителей ремнем по жопе и онлифанса возможно и принято хранить вместо отдельных сообщений всю страницу вместе с ресурсами и этим обосновывать завышенные расходы на оборудование. Видимо среди них вы и стоимость подписки прячете

хранить вместо отдельных сообщений всю страницу

От перемены мест слагаемых сумма не меняется. Текст сообщений занимает ничтожную часть ресурсов. Полное собрание сочинений Льва Толстого в формате txt.gz занимает места как одна картинка. Лучше расскажите, мой дорогой пуританин, как вы собираетесь в одной восьмибитной кодировке (кстати какой) использовать русский, французсский и немецкий текст одновременно. А то Лев Николаич таким, знаете ли, иной раз баловался.

Вспомню утеряные технологии древних - транслитерацию и эскейпинг

Вспомню

Лишняя работа. А работа это время и деньги.

транслитерацию

колхоз

и эскейпинг

и костыли

Что должно быть записано в немецкомом паспорте у немецкого немца по имени Björn Weiß, проживающего в городе München по адресу Kurfürstenplatz, 13?

Да всё то же самое, только продублировано без кучерявых букв. Как это всё американский пограничник читает непонятно.

Вообще-то, буква «ё» во всех однобайтовых (не семибитных!) кодировках для русского языка есть. Да, даже в КОИ-8. Только не во все шрифты попадала, да.

Вот пример с фамилиями на разных языках, который ниже привели – ему дейстивительно юникод нужен.

Полное собрание сочинений Льва Толстого в формате txt.gz занимает места как одна картинка.

«Доктор, откуда у вас такие картинки»?

На электроне:D

1. Примем, что в «собрании сочинений Толстого» 90 томов.

2. Возьмём за пример первый том Войны и Мира в fb2 и размножим его 90 раз.

3. Сожмём популярными современными компрессорами

-rw-r--r-- 1 XX users 113M Oct 30 00:35 out.fb2
-rw-r--r-- 1 XX users  20M Oct 30 11:04 bzip2/out.fb2.bz2
-rw-r--r-- 1 XX users  31M Oct 30 11:04 gzip/out.fb2.gz
-rw-r--r-- 1 XX users 278K Oct 30 00:46 lzip/out.fb2.lz
-rw-r--r-- 1 XX users 280K Oct 30 00:38 7z/out.fb2.7z

31 Мб — Вполне себе размер для большой фотографии в хорошем качестве. А 278 кб так и вовсе значёк для реакции. Какой-нибудь «палец вверх», который впопыхах позабыли оптимизировать, может занимать больше места, нежели все сочинения самого писучего из хороших писателей на свете. Естественно, это означает, что нужно немедленно начать краежопить на семибитных кодировках (это как восьмибитные, но на один бит меньше), дабы … ну, не знаю, просто дабы.

а если текст надо не только хранить, но и что-то там делать, искать там, индексировать, популярные современные компрессоры умеют?
к чему вообще эти странные сравнения

а если текст надо не только хранить, но и

То удачи вам славно потрахаться с

Вспомню утеряные технологии древних - транслитерацию и эскейпинг

так с утф трахаться также несподручно, фиксированный размер символа более пригож, а уж сколько байт он занимает дело десятое

Пардон, мы тут в новости про KOI8-R, так что на символ тут предполагается использовать ровно восемь бит. Это раз. Я спорил с предложением краежопить биты, чтобы экономить ресурсы. Если вы предлагаете наоборот, потреблять больше памяти, для удобства обработки, то это прям совсем другое утверждение. Это два.

так и эскейпинг не имеет отношения к KOI8-R и вообще к кодировкам, это уже другой уровень представления/интерпретации данных

так и эскейпинг не имеет отношения к KOI8-R

Это решение проблемы вызыванной выбором KOI8-R. Одно влечёт за собой другое. Привет.

это выдумывание проблемы, которой в рамках KOI8-R существовать не должно

которой в рамках KOI8-R существовать не должно

Расскажите пожалуйста, как вы на koi8-r напишете фразу «Björn Weiß пригласил Артёма Ковалёва в кафе L’Écho de la Lumière»?

а зачем мне хранить эту фразу, допустим, в БД паспортных данных граждан РФ?

А зачем вам БД, которую невозможно без костылей интергировать с другими БД/API/приложениями?

бНОПНЯ. гЮВЕЛ?

что именно есть костыли?
между этими сущностями в любом случае происходит перекодировка из внутреннего представления в друг-другу понятное