LINUX.ORG.RU
ФорумTalks

Концептуальный вопрос о технологическом прогрессе в разрезе БД.

 , , ,


0

1

Очевидно, что техпроцессы достигают своих физических пределов. Уменьшать ячейки флеш-памяти, ширину затвора транзисторов, домены на HDD до бесконечности нельзя. Количество слоёв/блинов тоже не безгранично. Т.е. с одной стороны, мы подходим к завершению роста производительности/объёмов.

С другой стороны, объёмы необязательной информации сейчас растут с утроенной силой. Смартфоны сливают телеметрию на сервера АНБ, причём каждое приложение сливает также на свои сервера. Телеметрия с самолёта измеряется терабайтами на каждый полёт. В современных БД никакие данные вообще не удаляются - лишь помечаются на удаление. Мы копим данные, которые лишь возможно - когда-либо понадобятся. На всякий случай.

Скорее рано, чем поздно, две эти тенденции встретятся и начнут конфликтовать. Мир опять вернётся к эффективному программированию и оптимизации хранящихся данных. Производительности процессоров станет не хватать для обработки всех данных, даже если их накопить. Как думаете, к чему это приведёт? Вычисления уедут в облака? Стоимость железа вырастет? Фото и видео превратятся в радио и ТВ - их можно будет транслировать, но нельзя будет сохранить? Свет будут давать по 8 часов в сутки?

★★★★

Сейчас на 2280 терабайты, что за пургу про размеры ты гонишь? При необходимости можно вернуться к 3.5" и поиметь хоть сотню терабайт на SSD.

WitcherGeralt ★★ ()
Ответ на: комментарий от WitcherGeralt

Когда вас будут снимать на 8К видео в режиме 24х7, для пресечения возможных беспорядков, сотня терабайт будет ни о чём.

tiinn ★★★★ ()
Ответ на: комментарий от tiinn

Зачем вас снимать в 8К 24x7 если можно просто задержать без всяких доказательств, а судья скажет «виновен», потому что мент который из своего кабинета не выходил так сказал?

zgen ★★★★★ ()
Ответ на: комментарий от zgen

Чтобы не было как в Белоруссии. Ничто не предвещало, а на улицы вышло 50 тысяч человек. И лишь отсутствие общего руководства помешало свергнуть власть. Так вот, при съёмке в 8К 24x7 можно будет винтить граждан ещё на подступах к площади.

tiinn ★★★★ ()
Ответ на: комментарий от tiinn

Гражданам достаточно будет подкупить диспетчера энергокомпании и спокойно осуществлять госпереворот

Harald ★★★★★ ()
Ответ на: комментарий от Harald

Гражданам достаточно будет подкупить диспетчера энергокомпании и спокойно осуществлять госпереворот

Ха! Вы в курсе, что БС операторов связи обладают и аккумуляторами, и резервными дизелями?

tiinn ★★★★ ()

мко

Все будут стараться любыми способами держаться заданного направления. Чтобы изменить подход и начать готовить хороших инженеров нужно много времени, учитывая как далеко мы теперь от этого, возможно лет 10-15, прежде чем будут первые результаты. Но главное - это дорого. Ни одна крупная контора не готова добавить к зп персонала нолик, два нолика, а где-то и три нолика. Также потребитель не готов начать считать байты и платить дорого. Скажем как много людей готовы вернуться к помегабайтным тарифам за интернет, пусть даже качество этого интернета будет лучше нынешнего? Мало таких. Поэтому всё будет идти как идёт. Корпорации будут изо всех сил искать способы и дальше извлекать прибыли, и дальше делать любое говно за наши деньги. Ёмкость не проблема, физически ssd очень малы, ну будут по больше, зато вместят в сотни и тысячи раз больше данных. Затык в вычислениях, в вычислениях потоков данных. Но и это решаемо. Очередной chrome будет порождать пару сотен потоков и будет всё долбить в них. Процессор будет 100 ядерный. Будет куча сопроцессоров. Собственно уже так почти. Ну добавят ещё сюда всякие кеши дополнительные, в том числе не зависимые от питания, чтобы быстро всё стартовало. Общий объём рабочего кода на обычном смартфоне будет как на паре бирж и мерседесе вместе взятых. И всё это будет крутиться на 100 и более ядрах. И да, это будет тормозить, но пипл схавает.

ixrws ★★★ ()
Ответ на: мко от ixrws

Также потребитель не готов начать считать байты и платить дорого

Всё уже подорожало - что-то я не вижу протестов на улицах. Подорожали и HDD, и видеокарты, и смартфоны, и автомобили. Даже еда - и та подорожала.

Процессор будет 100 ядерный

Да, но не на смартфоне.

tiinn ★★★★ ()
Ответ на: комментарий от tiinn

Винтить граждан это не главный способ борьбы с гражданами. Если недовольных будет много, то винтиков попросту не хтатит. Уже сейчас чтобы винтить, приходится перебрасывать омон из областных центров, а в некоторых областных центрах его и почти что нет. Главные метод - снижение градуса напряжения граждан. Вот этот способ работает замечательно как никогда сейчас. Большинство людей на пост СССР довольны той жопой, в которой живут процентов на 90. Пропаганде можно поставить 5.

ixrws ★★★ ()
Ответ на: комментарий от ixrws

Винтить граждан это не главный способ борьбы с гражданами. Если недовольных будет много, то винтиков попросту не хтатит. Уже сейчас чтобы винтить, приходится перебрасывать омон из областных центров, а в некоторых областных центрах его и почти что нет. Главные метод - снижение градуса напряжения граждан. Вот этот способ работает замечательно как никогда сейчас. Большинство людей на пост СССР довольны той жопой, в которой живут процентов на 90. Пропаганде можно поставить 5.

Вы таки ж правы, но, чтобы пропаганда стала индивидуальной - необходимо снимать человека 24х7. Чтобы сразу распознавать эмоциональную реакцию человека на пропаганду - надо снимать его 24х7. Чтоб на лету корректировать пропаганду.

tiinn ★★★★ ()
Ответ на: комментарий от tiinn

Почему протесты то? Вон у нас целые города уже умирают, и ничего, людей всё устраивает. Речь не про протесты, а про то, что инфляция, пусть даже 20-40 процентов в год - это одно. А вот возможность платить за что-то принципиально иные деньги вот завтра - это другое. Скажем тот же смартфон если сделать надёжно, из хороших материалов, с хорошей батареей, грамотно спроектировать, софт написать чтобы не жрал - будет начинаться от 400 долларов. Именно начинаться. Как много народу теперь это потянет? С авто та же петрушка. Народ уже смеётся, что duster, который в нормальной комплектации переваливает далеко за лям, является глубоко бюджетной тачкой. А сколько будет стоит просто нормальное авто, скажем toyota camry образца начала 90х, то есть выполненная из тех же материалов, без экономии и с запасом прочности?

ixrws ★★★ ()
Ответ на: комментарий от tiinn

Ну с этим соглашусь, хотя уж не надо прям постоянно снимать, много информации уже собирается прекрасно. Уже известно например в реальном времени какие продукты какая семья покупает и сколько потребляет. Легко проверить кто вот в эту неделю налёг на сладкое, а кто на алкоголь и сопоставить это с новостями. Ах да, это уже делают:)

ixrws ★★★ ()
Ответ на: комментарий от tiinn

Вот, например, видеонаблюдение: никто не хранит видеозаписи полностью, только участки где было движение в определенных областях. Так и с другими данными – хранятся только релевантные, причём время хранения тоже обычно ограничено.

cocucka ★★★★★ ()

«В современных БД никакие данные вообще не удаляются - лишь помечаются на удаление.»

Это неверно. Процесс удаления данных в БД многоуровневый, потому что иначе чудовищно просядет производительность: хранилище одно и то же и процедура перепаковки базы по каждому удалению будет сжирать всю ёмкость производительности этой хранилки.

То же самое с огромными потоками данных от чего угодно: лить-то их льют на всякий пожарный, но используют только для отлова ошибок вроде «чойта датацентр в Осло стал давать 2% пятисотых ошибок вместо обычных 1.5» и хранят крайне недолго, т.к. бигдата и любые коммерческие ёмкости забиваются в кратчайшие сроки. А если у вас денег немеряно, то там другая проблема: большие данные на то и большие, что работа с ними как поиск иголки вручную в 100500 стогах сена, количество которых постоянно увеличивается.

Короче, чувство собственной важности и собственной ценности у многих существенно превышает разумный уровень.

stalkerbss ()

Мир опять вернётся к эффективному программированию и оптимизации хранящихся данных

Мир прямо сейчас находится в состоянии эффективного программирования и оптимизации хранящихся данных. Вы не понимаете что эти критерии устанавливаются не вашим субъективным чувством прекрасного (божычки мой, крестики-нолики на электроне занимают 100MiB!), а экономической эффективностью, которой всё что сейчас есть на рынке соответствует по определению (рабочее приложение выпущено в максимально короткие сроки вперёд конкурентов).

Да, если начнёт не хватать мощностей требования начнут сдвигаться, но а) никаких скачкообразных изменений не будет б) ваше чувство прекрасного всё равно будет ущемлено, потому что даже если наводнением накроет все фабы и майнеры чиа разберут все ssd, вы просто останетесь на текущем железе, которое 100MiB крестики-нолики вполне потянет.

slovazap ★★★★★ ()

Мир опять вернётся к эффективному программированию и оптимизации хранящихся данных

Уже вернулся. NoSQL - первый шаг, эффективное масштабирование и запросы. Возможно не самое эффективное по дисковому пространству, но это самый дешевый ресурс.

Не думали почему облачные компании трясутся за каждый процессор в любом облачном провайдере? А с другой сторны сервисы-помойки экзабайтов всяких видео с котами до сих пор вполне покрываются рекламой? Файл лежащий на диске, который никто никогда почти не читает и не пишет - самое дешевое что может быть

vertexua ★★★★☆ ()
Последнее исправление: vertexua (всего исправлений: 2)
Ответ на: комментарий от tiinn

Не будет никаких граждан на подступах к площади. Некому будет выходить - все будут сидеть заранее за то что недостаточно громко кричали ура картофельному фюреру

zgen ★★★★★ ()
Ответ на: комментарий от ixrws

Винтить граждан это не главный способ борьбы с гражданами

Можно отстреливать, это проще, дешевле, эффективней.

Один омоновец может за предельно короткое время убить десятки и сотни граждан.

zgen ★★★★★ ()
Ответ на: комментарий от zgen

Один омоновец может за предельно короткое время убить десятки и сотни граждан.

И спать с открытыми глазами после этого? Более того не только ему, но и всем его товарищам, если они от него не отрекутся? Ведь хер его разберёшь под маской тот это омоновец или другой?

pon4ik ★★★★★ ()
Ответ на: комментарий от vertexua

NoSQL это не панацея, это решения одного из классов задач только, где читать надо чаще чем писать. А телеметрия это как раз решение другого класса.

pon4ik ★★★★★ ()
Ответ на: комментарий от pon4ik

И спать с открытыми глазами после этого?

Почему?

Они спокойно пытают и избивают людей, покрывают друг друга - и нормально спят.

Никакой разницы. Все кто будут угрожать этому омоновцу или любому другому тоже будут расстреляны.

zgen ★★★★★ ()
Ответ на: комментарий от Harald

Материализирование всего оптимизирует чтение. Eventual consistency помогает распределить нагрузку записи во времени

vertexua ★★★★☆ ()
Ответ на: комментарий от zgen

Практика показывает, что это плохо работает на долгой дистанции и даже на средней. Но да, это хорошо работает на короткой. Смысл в том, что после того, как омоновцы начинают стрелять, возникает уже реально партизанское сопротивление. А там дальше уже война по сути. Где-то это выгодно, но в большинстве случаев выгодно, чтобы люди продолжали ходить на работу, были убеждены в собственном счастье, пусть даже их дом уже с прохудившейся крышей или может быть даже его вчера снесли. Война это бизнес, но кроме войны, есть другие бизнесы. Если начать завтра отстреливать несогласных в каком-нибудь Карабаш, то комбинат можно будет закрывать. Но если убедить людей, то они с радостью продолжат вдыхать серу.

ixrws ★★★ ()
Ответ на: комментарий от zgen

Увы в реальности несколько иначе всё. Омоновцы разные бывают, очень часто перестают подчиняться приказам, когда предлагают боевыми по толпе пострелять. Это же не резиновые пули. Плюс спать плохо придётся в том числе из-за того, что у омоновцев есть дети, и их не обезопасишь. Именно поэтому все спецотряды перебрасывают из других регионов, чтобы не было проблем с близкими и с мотивацией. Но это не гарантия, а всего лишь чуть больше безопасности.

ixrws ★★★ ()
Ответ на: комментарий от ixrws

Практика показывает, что это плохо работает на долгой дистанции и даже на средней.

Лет на 70 хватит, а дальше срать

zgen ★★★★★ ()
Ответ на: комментарий от ixrws

Увы в реальности несколько иначе всё

Пффф. Моя реальность - за окном, и она такая, как я тут описал.

Омоновцы разные бывают,

Не бывают. Все полицаи одинаковые.
Те кто перестают подчиняться - будут расстреляны, о чем им заранее известно.

zgen ★★★★★ ()

объёмы необязательной информации сейчас растут с утроенной силой

Не только объем. Ещё кривые модели. Например откуда-то пошла мода даты текстом хранить, чую чтоб одним полем жсона зону передать

upcFrost ★★★★★ ()
Ответ на: комментарий от Harald

И много ты 8K видео через сотовых операторов прогонишь

А можно и по проводу. И, открою страшную тайну, все важные камеры и коммутаторы будут запитаны и от аккумуляторов, и снабжены резервными дизелями

tiinn ★★★★ ()
Ответ на: комментарий от ixrws

А вот возможность платить за что-то принципиально иные деньги вот завтра - это другое. Скажем тот же смартфон если сделать надёжно, из хороших материалов, с хорошей батареей, грамотно спроектировать, софт написать чтобы не жрал - будет начинаться от 400 долларов. Именно начинаться. Как много народу теперь это потянет? С авто та же петрушка. Народ уже смеётся, что duster, который в нормальной комплектации переваливает далеко за лям, является глубоко бюджетной тачкой. А сколько будет стоит просто нормальное авто, скажем toyota camry образца начала 90х, то есть выполненная из тех же материалов, без экономии и с запасом прочности?

Но в 2014 те же авто тупо на ровном месте подорожали вдвое - и все невозмутимо начали платить вдвое дороже. Или пересели на ладу, ага.

tiinn ★★★★ ()
Ответ на: комментарий от zgen

Не будет никаких граждан на подступах к площади. Некому будет выходить - все будут сидеть заранее за то что недостаточно громко кричали ура картофельному фюреру

Нельзя всех посадить, нужно, чтобы кто-то демонстрировал успешное государство.

tiinn ★★★★ ()
Ответ на: комментарий от tiinn

Аккумулятора надолго не хватит, дизель должен быть исправным и кто-то регулярно должен подвозить ему топливо

Harald ★★★★★ ()
Ответ на: комментарий от tiinn

И лишь отсутствие общего руководства помешало свергнуть власть

а может их по тихому передавили, это их «общее руководство»?

Kompilainenn ★★★★★ ()

Если ты пишешь, что информация «необязательна», то одной из тенденции нет. Т.е. она есть, но когда настанет нехватка технических ресурсов, люди осознают, что инфа эта вся не нужна для жизни. А на всякие ПРИЗМы забьют, потому что элита разложится изнутри, и «просрет все полимеры», включая себя самих. И здесь все эти диски, процессоры и кабели всего лишь среда, а главный цимес - в разборках сапиенсов друг с другом, массовый экстерминатус.

seiken ★★★★★ ()
Последнее исправление: seiken (всего исправлений: 1)
Ответ на: комментарий от tiinn

Почему на ровном месте, доллар же и прочие проседания экономики. Но не сразу в двое. И нет, не все. Многие с тех пор вообще не обновляют машин и таки пересели на ладу или китайцев. Мне даже одно время забавно было, как люди, которые ещё вчера говорили что немец или японец это хорошо, а кореец говно, сегодня ездит на китайце и не жужжит.

ixrws ★★★ ()
Ответ на: комментарий от Harald

Аккумулятора надолго не хватит, дизель должен быть исправным и кто-то регулярно должен подвозить ему топливо

За этим следят.

tiinn ★★★★ ()
Ответ на: комментарий от Kompilainenn

а может их по тихому передавили, это их «общее руководство»?

Сложно сказать, из другой страны-то.

tiinn ★★★★ ()
Ответ на: комментарий от Harald

Ладно, тогда кабели можно перерезать в укромных местах

Заколебётесь кабели искать. На них, конечно, висят маркеры «перережь меня»

tiinn ★★★★ ()
Ответ на: комментарий от tiinn

Электрические висят открыто, оптоволоконные тоже либо на столбах, либо в канализации, режь все - не ошибёшься :)

Harald ★★★★★ ()
Ответ на: комментарий от ixrws

Почему на ровном месте, доллар же и прочие проседания экономики.

Стало быть, достаточно устроить мнимое проседание экономики, или найти какое-нибудь другое глупое объяснение, типа коронавируса, и вот уже

возможность платить за что-то принципиально иные деньги вот завтра

никого не напугает. Начнут платить, или, образно выражаясь, «пересядут на лады» без гуда.

tiinn ★★★★ ()
Ответ на: комментарий от Harald

Электрические висят открыто, оптоволоконные тоже либо на столбах, либо в канализации, режь все - не ошибёшься :)

Ну, только цена ошибки - жизнь, а так-то да.

tiinn ★★★★ ()
Ответ на: комментарий от Harald

В смысле прибежит кровавая гэбня

Не, в смысле путать электрические и оптоволоконные кабели

Изоляцию никто не отменял

Дык, вы же резать её собираетесь

tiinn ★★★★ ()
Последнее исправление: tiinn (всего исправлений: 1)
Ответ на: комментарий от Harald

Почему мнимое, вполне себе реальное, форс-мажор по всем признакам

Сейчас-то да. Я о том, что, главное, придумать аргумент, который схавают массы: коронавирус, конец света, деноминация - и народ безропотно сносит удвоение цен.

tiinn ★★★★ ()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)