LINUX.ORG.RU
ФорумTalks

Концептуальный вопрос о технологическом прогрессе в разрезе БД.

 , , ,


0

1

Очевидно, что техпроцессы достигают своих физических пределов. Уменьшать ячейки флеш-памяти, ширину затвора транзисторов, домены на HDD до бесконечности нельзя. Количество слоёв/блинов тоже не безгранично. Т.е. с одной стороны, мы подходим к завершению роста производительности/объёмов.

С другой стороны, объёмы необязательной информации сейчас растут с утроенной силой. Смартфоны сливают телеметрию на сервера АНБ, причём каждое приложение сливает также на свои сервера. Телеметрия с самолёта измеряется терабайтами на каждый полёт. В современных БД никакие данные вообще не удаляются - лишь помечаются на удаление. Мы копим данные, которые лишь возможно - когда-либо понадобятся. На всякий случай.

Скорее рано, чем поздно, две эти тенденции встретятся и начнут конфликтовать. Мир опять вернётся к эффективному программированию и оптимизации хранящихся данных. Производительности процессоров станет не хватать для обработки всех данных, даже если их накопить. Как думаете, к чему это приведёт? Вычисления уедут в облака? Стоимость железа вырастет? Фото и видео превратятся в радио и ТВ - их можно будет транслировать, но нельзя будет сохранить? Свет будут давать по 8 часов в сутки?

★★★★★

Ответ на: комментарий от zgen

вохра/ппс - деньги (как ни смешно звучит, просто больше не умеют), опера/легавые - начитались в детстве детективов, чиновники/омон - власть. Я не шучу.

Shadow ★★★★★
()
Ответ на: комментарий от Shadow

У них у всех - деньги.
Власть = деньги.
Власть завести уголовку = деньги

zgen ★★★★★
()
Последнее исправление: zgen (всего исправлений: 1)
Ответ на: комментарий от Dog

Нууу, пока отследят, пока найдут... И не факт, что легко отследят. Подумаешь, png картинка с cdn.

Shadow ★★★★★
()
Ответ на: комментарий от zgen

А классовая вражда растёт, пусть под другим «соусом». Как бы это не отрицали хейтеры «научного коммунизма».

Shadow ★★★★★
()
Ответ на: комментарий от Shadow

Растёт она потому что пока ни в кого не стреляют, а как начнут - так сразу количество «враждебных элементов» начнёт уменьшаться

zgen ★★★★★
()
Ответ на: комментарий от zgen

Растёт она потому что пока ни в кого не стреляют, а как начнут - так сразу количество «враждебных элементов» начнёт уменьшаться

Ну, у «враждебных элементов» обычно родственники есть. Так что зависимость нелинейная.

tiinn ★★★★★
() автор топика
Ответ на: комментарий от tiinn

ну мои родственники всецело за них, нежели за нас так что они даже рады будут

Ну и потом, можно с родственниками вместе отстреливать. Всё равно так много людей для обслуживания трубы не нужно

zgen ★★★★★
()
Последнее исправление: zgen (всего исправлений: 1)
Ответ на: комментарий от zgen

Это смотря кто, и в каких «враждебных элементов» стрелять будет. Если вы начнёте стрелять - не будут.

tiinn ★★★★★
() автор топика
Ответ на: комментарий от tiinn

Ну и потом, можно с родственниками вместе отстреливать.

Проблема в том, что это соцсеть. И у родственников другие родственники есть.

tiinn ★★★★★
() автор топика
Ответ на: комментарий от zgen

ни в кого не стреляют, а как начнут - так сразу количество «враждебных элементов»

Ну так ещё раз изучи русские и французские революции. Особенно французские, до пятой Республики. Очень интересно. И ещё историю развала Австро-Венгрии.
Да что там, если б Асад враждебных элементов не отстреливал, а делился с ними, его положение было бы намного прочнее.
Чем меньше народу в районе трубы, тем больше придётся делиться с народом подальше от трубы.

Shadow ★★★★★
()
Последнее исправление: Shadow (всего исправлений: 3)
Ответ на: комментарий от Shadow

Да что там, если б Асад враждебных элементов не отстреливал, а делился с ними, его положение было бы намного прочнее.

А он и делился. Всю войну бюджетники на захваченных территориях з/п от Асада получали.

tiinn ★★★★★
() автор топика

почитай станислава лема «профессор донда» - там даны ответы на все твои вопросы.

deep-purple ★★★★★
()
Ответ на: комментарий от Shadow

Ну, ты, наверно, знаком с dask - оно группирует по шардам. Правда, индекс строит на одной ноде

Ну map-reduce никто не отменял: группировка делается на одной ноде, а потом собираются результаты с нескольких нод. Правда, как ты, например, собрался считать среднее значение по группам — ума не приложу. Или любую другую продвинутую функцию, не говоря уже про оконные. А достать уникальные значения столбца — это еще не совсем группировка.

byko3y ★★★★
()
Ответ на: комментарий от Shadow

Ну так группируется по нодам и считаются суммы и количества. Всё вместе на «главной»

Я не спорю о том, что какую-то конкретную задачу нельзя реализовать. Я спорю о том, что это SQL можно реализовать на шардах в общем случае. Да, отдельные простые агрегатные функции можно реализовать, благо, SQL подраузмевает отсутствие конкретного порядка в группе. А вот группировка в оконных функциях уже подразумевает порядок, и чтобы этот порядок соблюсти, например, для банального вывода порядкового номера записи в группе, нужно на каком-то узле собирать все записи из группы. И внезапно мы приходим в тому, что нужно все данные, попадающие под условие, передавать на один узел. Ну тип в конечном итоге это можно делать для любого SQL запроса, получив таким образом возможность выполнения произвольного запроса, но работать это будет крайне неэффективно.

byko3y ★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.