10 петабайт — это много или мало?

Мало. В Церн еще 4 года назад дисковый сторадж перевалил за эксабайт.

Скачать-то он может и скачал, если лить 5 гигабит не переставая. А вот куда хоронил? В /dev/null ?

Прикиньте, чувак покупает всю эту байду. А там нейрослоп сгенереный нейронкой

Лох не мамонт. Лох не вымрет.

куда хоронил?

Если он качал ботнетом, не исключено, что и хранит на протрояненых чужих машинах. Поэтому надо покупать быстрее, пока не потёрли.

для моделирования столкновения танка со стеной

Танк-то обычно сталкивают не со стеной, а с высокоэнергетическими боеприпасами. Там фазовое состояние вещества меняется в ходе взаимодействий, а бронеплита к тому же сделана не из монолитного чугуния, а из композита из разнородных (с существенно разными свойствами) материалов. Влоб насыпанием петабайтов оно не особо-то решится, кмк.

Полгода качал со средней скоростью почти мегабит? Много это или мало?

Самое ж интересное, что успел ознакомиться с содержанием. И текст наверняка ж на китайском.

Ага, вот и любители танчиков подтянулись.

И я подумал: если моделировать сплавы клеточными автоматами, каждое зерно 25 мкм³ сделать отдельным автоматом, выделить на него 1 байт, то для моделирования столкновения танка (10 м³ стали) со стеной понадобится 10/(25e-18)=4e17 байт для каждого состояния. То есть 400 петабайт.

Во-первых, обычно когда речь идёт о масштабе 25 мкм, тебя не интересует поведение всего танка, тебе достаточно симулировать поведение участка брони, в который попал снаряд. Процессы, которые происходят при столкновении снаряда и брони, в любом случае превышают скорость звука в металле, поэтому нагрузка не может нормально распределиться по всему корпусу. Плюс если ты достаточно хорошо пробил броню в одном месте, то танк в любом случае выведен из строя, тебе не принципиально, что там происходит на другом конце танка. А для симуляции столкновения танка со стеной не нужна такая точность симуляции, там совсем другие процессы.

Во-вторых, хранить твои 400 петабайт нужно только во время непосредственно проведения эксперимента. А потом результаты можно агрегировать. Тебе не нужно знать диаметр входного и выходного отверстия с точностью до микрометра (тем более что оно будет разное каждый выстрел из-за кучи переменных факторов), тем нужно знать сколько миллиметров брони прошёл твой снаряд, какой был всплеск давления за бронёй и т. д. Результаты можно пересемплировать с потерей точности в несколько раз и ты даже выиграешь (потому что уберёшь часть шумов симуляции).

В-третьих, есть банальное сжатие.

Китайцы скорее всего проводили эксперименты в правильных масштабах соответствующим целям, а не гоняли симулятор на максимальных параметрах для всего подряд. И в долгосрочное хранилище клали агрегированые результаты, чтобы потом с этим можно было вменяемо работать (даже если где-то хранятся оригиналы для большинства задач достаточно результатов меньшего объёма, которые будут быстрее обрабатываться).

Так что 10 петабайт скорее всего как раз самое интересное.

Танк-то обычно сталкивают не со стеной, а с высокоэнергетическими боеприпасами.

Да, но там можно моделировать не все 80-100 тонн, а только область вблизи места попадания.

Я просто хотел быстро найти среди перечисленных задач что-нибудь правдоподобное, простое, поддающееся быстрой оценке размера, но громоздкое.

а бронеплита к тому же сделана не из монолитного чугуния, а из композита из разнородных (с существенно разными свойствами) материалов.

Разумеется. Но можно при моделировании учесть, что клетки из разных материалов.

Влоб насыпанием петабайтов оно не особо-то решится, кмк.

Разнородный композит — вполне решится. С фазовыми переходами — уже сложнее. Да и к самим клеточным автоматам претензии есть.

в долгосрочное хранилище клали агрегированые результаты, чтобы потом с этим можно было вменяемо работать

Да, исследователи должны делать именно так. Но я не уверен, что взломщик качал данные из хранилища, а не промежуточные результаты :)

Даже несколько мегабайт данных может быть интересным, если правильно агрегировать. Например, если это PDF с отчётом, где описаны все результаты эксперимента :-)

Более того, это может быть даже интереснее, чем сырые данные, потому что за тебя из симуляции и все шумы подчистили, и ты знаешь не только про саму симуляцию, но и какие выводы китайцы из неё сделали.

Разнородный композит — вполне решится.

Граница сред, даже если она возникла не в результате фазового перехода, а была изначально, - штука сложная.

PDF с отчётом … даже интереснее, чем сырые данные

Разумеется. Но смотревшие на образцы говорят, что видели именно сырые бинарные данные. Поэтому и возник вопрос, сколько таких данных порождает современный эксперимент по моделированию.

Имхо, если бы злоумышленник нашёл отчёты, он бы продавал их отдельно. Или продавал бы только их. А раз вывалил всё, значит сам найти не может. Если что-то там есть, это найдёт уже не он.

Граница сред … - штука сложная.

Да. И это сложная проблема — как её моделировать. Вполне можно заложить в модель какие-то обоснованные приближения взаимодействия разнородных клеток с ограниченной применимостью, и надеяться, что их хватит.

Ну вот в адекватной модели и сложность, а не в петабайтах, кмк

там — секретные результаты моделирования пробития бронированных целей

Деды не моделировали, а стреляли и меряли «условие обстрела отечественных танков и артсамоходов в боевых операциях 1942, 1943 и 1944 годов» © (topwar.ru).
Сейчас тоже сначала стреляют, а потом считают, например: «Действие бронебойно-фугасных снарядов танка «Чифтен» по броне» © (topwar.ru).

Вот я и спрашиваю, каковы сейчас типичные размеры. Потому что тупо в лоб техника всё ещё не позволяет, но если ресурсов стало доступно больше, таким образом облегчат себе жизнь.

Кто даст правильный ответ - тот получит 10 лет.

У дедов не было таких мощных компьютеров. И у британцев их нет, похоже. А китайцы построили. И попробовали посчитать.

Каковы типичные объёмы данных при моделировании сплошных сред на суперкомпьютерах?

Обычно используют итеративный подход (с увеличением детальности и объёма данных) для решения уравнений Навье — Стокса © (wikipedia.org) методом конечных элементов © (turbopages.org).
Количество итераций и элементов ограничены имеющейся вычислительной мощностью, временем и деньгами.

А китайцы построили. И попробовали посчитать.

Ну, пущай посчитают динамику плазмы в своём китайском токамаке пока ихний супер-пупер-компьютер не задымится :)

Количество итераций и элементов ограничены имеющейся вычислительной мощностью, временем и деньгами.

И каков порядок цен, если считать на Tianhe-1 и хранить в дата-центре в Тяньцзине?

пущай посчитают динамику плазмы

Эти данные тоже могут быть в числе украденных :)

И каков порядок цен, если считать на Tianhe-1 и хранить в дата-центре в Тяньцзине?

Сие мне неведомо, ибо выходит за границы массива моих понятий о ценах :)

Каковы типичные объёмы данных при моделировании сплошных сред на суперкомпьютерах?

100-200 TB.

Самое большое космологическое моделировние завершено в прошлом месяце. Общий объём данных порядка 13 PB.

ну так напиши что ломанул одновременно ЦРУ, ФБР, пачку нарко-картелей, воспоминания Фрейда и дневник соседки Маши. Всё объёмом 30 петабайт, одно оглавление 1 тер. И продавай бред ИИ как оглавление и /dev/random как содержание. По 30 монер. 10 идиотов окупят всё начинание

А потом кто-нибудь недовольный его деанонимизирует ледорубом.

Каковы типичные объёмы данных при моделировании сплошных сред на суперкомпьютерах?

Объемы во многом зависят от характера моделирования и необходимой точности вычислений.

Для экономии этого самого объема модель упрощают до одной единицы, наделенной теми или иными свойствами всей структуры. Аналог молекулы из реального мира.

Тебе не нужно моделировать все 10 м³ стали. Тебе достаточно смоделировать 1 см³, потом завернуть полученные результаты в функцию, и экстраполировать ее 10 млн раз.

Само собой, эти объемы нигде не хранятся, как например не хранятся инструкции шейдеров. Выполнил, получил, забыл.

Собственно половину вычислительных мощностей занимают такие вот преобразования функций. Тут как и у нас - либо сожмем быстро но слабо, либо медленно но сильно.

10 петабайт за полгода это 5 Гбит/с, у них там никакого экрана мониторящего не стояло что ли? Как-то слабо верится.

10 петабайт за полгода это 5 Гбит/с, у них там никакого экрана мониторящего не стояло что ли?

Использовал ботнет из большого числа компьютеров. Надо думать, по обе стороны, чтобы всё не в одно место шло. Вроде, где-то промелькнуло, что их было полторы тысячи. Сколько за секунду прокачивается при типичном сеансе RDP или VNC? 7 мегабит на этом фоне будут сильно заметны?

И всё для того, чтобы танк потом отъехал от дрона, встреча с которым не было смоделирована

От дронов нужны роботизированные турели со шрапнелью
Удивительно, что ни одна из сторон до сих пор не клепает такие модули серийно

От дронов нужны роботизированные турели

Самоделки есть, но для серии они сырые, например © (iz.ru). Их роботизация требует специализированных систем наведения, сопровождения, распознавания, … И проблемы механики: чем легче турель, тем сложнее её стабилизировать при выстрелах и компенсировать изменение моментов инерции, влияющих на точность. Поэтому дешевле увеличить количество стволов и скорострельность.

со шрапнелью

Радиус поражения шрапнели невелик, но ежели очень хочется сделать, то возьми за основу проверенную ЗУ-23-2 © (armystandard.ru)
и прикрути к ней ардуину :)

возьми и прикрути

Нереально в одно лицо это провернуть. А вот почему пво-шные нии, у которых все необходимые наработки есть, этого до сих пор не проделали - я не понимаю. Условно, что-то вроде «шилки», но на современной компонентной базе, и миниатюрной (чтобы можно было выпускать как модуль, который крепится на те же танки). https://www.opennet.ru/opennews/art.shtml?num=64999

А вот почему пво-шные нии этого до сих пор не проделали - я не понимаю.

Потому, что активная РЛС долго не живёт, она удобная мишень для ракет противо-РЛС © (missilery.info).
Сейчас более живучи пассивные ИК системы, но они зависимы от погоды.

Нереально в одно лицо это провернуть.

Реально, автомобильные радары, с диапазоном дальностей и скоростей аналогичным дронам, самодельщики собирают из готовых модулей типа HLK-LD2415H © (aliexpress.ru).

Радиус поражения шрапнели невелик

Это скорее плюс, чем минус. Чтобы у тупой турели было меньше шансов покрошить свою же пехоту, которую пытались поддержать огнём этого танка.

10 петабайт это 500 дисков по 20 гигабайт. Много.

Умножить на три для отказаустойчивости.

Plot twist: нейрослоп оказался рабочим

В смысле, по 20 терабайт, я как то сразу не смекнул, что три нолика потерялись.

То есть на vpn ноду прилетает 1.5к сессий и 5 Гбит трафика, пусть даже и плавно по времени и никто не задаётся вопросом кто все эти люди?

То есть на vpn ноду прилетает 1.5к сессий и 5 Гбит трафика, пусть даже и плавно по времени и никто не задаётся вопросом кто все эти люди?

Чтобы не привлекало внимания, через эту ноду должны ежедневно ходить в несколько раз больше.

В смысле, по 20 терабайт,

Оговорился конечно.

А так, обычный такой хакер, для которого 500 hdd по 20T не проблема. Мунуточку, но при стоимости одного такого диска около 60 т.р. все это удовольствие потянет на 30 миллионов рублей! Хорошо быть хакером нынче.

при стоимости одного такого диска около 60 т.р.

В РФ можно найти вдвое дешевле. Думаю, в Китае можно найти ещё дешевле.

Если по $200 за 20Т, как подсказывает ИИ Гугла, получается $100 000. Отобьёт на 33 предпросмотрах. Думаю, это не первое дело данного взломщика.

Или, как я предположил выше, это хранится на чьих-то угнанных облачных учётках.

А чё, меня тут грязью облили, когда я сказал, что мы 7 PB данных насчитали и не бэкапили. Типа сейчас каждый бомж может позволить себе 10-20 PB дополнительных дисков в кармане держать. На крайняк, говорили, на клауд залей.

А здесь целый хакер!

много или мало?

Несколько стоек. Ерунда.

для подкроватного сервера нормально, с запасом