LINUX.ORG.RU

4
Всего сообщений: 91

Кое что хотел знать о PostgreSQL, но боялся спросить

Если дать серверу объем ОЗУ превышающий объем баз на диске, будет ли какой то прирост производительности.

У меня сейчас есть возможность попробовать, но для этого нужно ночью просыпаться, а я пока заочно посоветуюсь с экспертами…

Второе утверждение, если ОЗУ превышает объем баз, все закешируется и требования к производительности дисковой подсистемы снизятся, так ли это?

Ну то есть не SSD покупать за 100 тыров, а 128 ГБ ОЗУ, если у меня кластер 100ГБ. И все?

Что скажут знатоки?

В общем навеяно инфой, если не изменяет память от самого @maxcom.

PS. Может ЛОРу это и помогает, а 1С ничего не поможет, но не забегаю вперед

 , ,

Shulman ()

AMD vs Intel, ночные мысли на этот счет

На всякий случай напомню, что я недавно проапгрейдился на AMD Ryzen 9 3900X. Это чтобы меня в фанбои Intel не записывали =) Стараюсь объективно рассмотреть.

В последнее время у многих сложилось впечатление, что AMD прям разгромила Intel. Но как мне кажется, это не совсем так. В значительной мере успех AMD связан с широким развитием многопоточного софта и с тем, что Intel несколько зажрались.

В результате получили ситуацию, когда AMD смогла выпустить более дешевые многопоточные процессоры, превосходящие Intel в скорости за счет многопоточности. Еще и холоднее из-за лучшего техпроцесса.

Но не стоит забывать, что в однопотоке не все так хорошо у AMD, по крайней мере в Zen2. Тесты, навроде тех, что приведены тут: https://www.pugetsystems.com/labs/hpc/AMD-Ryzen-3950x-Compute-Performance-Lin... это хорошо показывают. В математике по одноядерной однопоточной производительности AMD проигрывает Intel.

Если посмотреть на линпак, то получается, что у AMD для 12-ядерного 3900X - 44.9 GFlops/Core, а для 8 ядерного Intel 9900K - 59.5 GFlops/Core. Это более, чем 30% преимущество у Intel.

В тесте NAMD, при общей победе AMD тоже получается, что в однопотоке Intel быстрее. У 12-ядерного AMD время выполнения 5.68 сек. У 8 ядерного Intel - 6.93 сек. Если сравнивать в «попугаях», то есть, 1000 поделить на 5.68 и на 6.93, то получается, что у AMD - 14.67 попугая на ядро, а у Intel - 18.03 . Опять преимущество у Intel почти на 23%.

Это же можно увидеть и по бенчмаркам CPU-Z https://www.guru3d.com/articles-pages/amd-ryzen-5-3600x-review,11.html

Еще можно посмотреть на тесты в видеокодировании в ffmpeg http://forum.ixbt.com/topic.cgi?id=8:25651 - тоже получается, что хотя Zen2 (и даже просто Zen) рвут Intel в общем зачете, по скорости на ядро отстают, хотя и заметно менее, чем в математике. Тут разница в 5-10% всего в пользу Intel.

Аналогичная картина и с младшими процессорами. Из-за этого кстати среди игроков бытует мнение, что Intel быстрее в играх. До сих пор игры редко, чтобы более 8 ядер эффективно использовали.

Однако, Core i9-9900K на те же процентов 20-30 дороже Ryzen 9 3900X, горячее, так что совсем по-хорошему требует вообще жидкостного охлаждения (водянки), в общем зачете уступает AMD по быстродействию (там где все потоки использованы). Еще и перспектив нет с его сокетом, так что AMD получаются и выгоднее и быстрее.

А с 3950X у Intel вообще фактически нет конкурентов в его ценовой нише, так как HEDT платформа стоит уже совсем других денег и при этом все-равно уступает в скорости, если не брать совсем неадекватно более дорогие варианты.

Но это текущая ситуация. Сейчас Intel выкатывает 10-е поколение с существенно скоректированными ценами и увеличенным количеством ядер. Тут уже AMD Zen2 такого преимущества иметь не будет, хотя похоже небольшое все же останется, да и TDP у Intel совсем безбожный, уже доходит инфа, что это печки будут. Что логично. При том же техпроцессе увеличили число ядер, а ведь даже 9-е поколение не было прохладным. И если 9900K еще можно было все-таки с воздушным кулером эксплуатировать, то для 10900K наверное водянка уже практически безальтернативна.

Однако и AMD выпустит попозже Zen3, будет весело =)

Парадокс нынешнего противостояния однако еще и в том, что если бы сейчас в массовом пользовательском софтостроении был бы не 2020 год, а 2010-2015, то AMD в скорости сливали бы Intel «как обычно» и также «как обычно» были бы дешевым аналогом. Если бы еще и техпроцесс был бы одинаковый, то вообще преимуществ было бы немного. Но имеем, что имеем. 64-ядерному тредрипперу 3990X Intel вообще практически нечего противопоставить, разве что Xeon-монстров с AVX-512, да и то.

И наоборот, если бы в 2010-2011 годах софт был бы современный, amd-ные бульдозеры выглядели бы получше, хотя все-равно не совсем из-за провала по FPU. Тут вообще, история соревнований процессоров, если смотреть еще 90-е годы показывает, что FPU нельзя пренебрегать, многие были быстрее Intel в целочисленных операциях, но это им не сильно помогало.

 , ,

praseodim ()

Потестил Ryzen 3900X интеловским Linpack-ом

Брал отсюда https://software.intel.com/en-us/articles/intel-mkl-benchmarks-suite

Взял package l_mklb_p_2019.6.004.tgz

$tar -xvzf l_mklb_p_2019.6.005.tgz
$cd l_mklb_p_2019.6.005/benchmarks_2019/linux/mkl/benchmarks/linpack/
$./runme_xeon64

Упс, не тут-то было. Оно не захотело теститься, выдав в ответ

This binary version of the SMP LINPACK benchmark is optimized for and runs on only genuine Intel processors

Пришлось немного пропатчить бинарник xlinpack_xeon64

В hex-editor-e (использовался банальный F3 в mc) заменил в нем первое вхождение строчки GenuineIntel на AuthenticAMD затем немного далее посмотрел и заметил, что в бинарнике уже есть строчка AuthenticAMD - на всякий случай ее просто испортил (чтобы по CPUID совпадений не было), затем вторую GenuineIntel тоже на AuthenticAMD заменил. В принципе, скорее всего проверка была только первый раз, а потом какая-то слинкованная либа что-то проверяла, но на всякий случай сделал, чтобы программа думала, что она точно на Intel исполняется.

Итог: нормально (хотя есть нюанс, потоков почему-то только 12 использовало, а не 24 как должно было) заработало и выдало следующие результаты, если кому интересно (компиляторы у Intel хорошие, годны и для AMD, хе-хе). Также можно сравнивать с Intel процессорами, таким образом.

Sample data file lininput_xeon64.

Current date/time: Sat May  2 21:32:01 2020

CPU frequency:    4.515 GHz
Number of CPUs: 1
Number of cores: 12
Number of threads: 12

Parameters are set to:

Number of tests: 15
Number of equations to solve (problem size) : 1000  2000  5000  10000 15000 18000 20000 22000 25000 26000 27000 30000 35000 40000 45000
Leading dimension of array                  : 1000  2000  5008  10000 15000 18008 20016 22008 25000 26000 27000 30000 35000 40000 45000
Number of trials to run                     : 4     2     2     2     2     2     2     2     2     2     1     1     1     1     1    
Data alignment value (in Kbytes)            : 4     4     4     4     4     4     4     4     4     4     4     1     1     1     1    

Maximum memory requested that can be used=16200901024, at the size=45000

=================== Timing linear equation system solver ===================

Size   LDA    Align. Time(s)    GFlops   Residual     Residual(norm) Check
1000   1000   4      0.004      149.3870 1.385558e-12 4.725110e-02   pass
1000   1000   4      0.005      145.3608 1.385558e-12 4.725110e-02   pass
1000   1000   4      0.005      146.4768 1.385558e-12 4.725110e-02   pass
1000   1000   4      0.004      150.8737 1.385558e-12 4.725110e-02   pass
2000   2000   4      0.018      289.4542 3.884559e-12 3.379091e-02   pass
2000   2000   4      0.018      291.1772 3.884559e-12 3.379091e-02   pass
5000   5008   4      0.218      381.6572 2.757233e-11 3.844740e-02   pass
5000   5008   4      0.217      384.9181 2.757233e-11 3.844740e-02   pass
10000  10000  4      1.470      453.8042 9.461698e-11 3.336291e-02   pass
10000  10000  4      1.499      444.9942 9.461698e-11 3.336291e-02   pass
15000  15000  4      4.651      483.8939 2.013405e-10 3.171147e-02   pass
15000  15000  4      4.773      471.4600 2.013405e-10 3.171147e-02   pass
18000  18008  4      8.052      482.9638 2.764764e-10 3.027757e-02   pass
18000  18008  4      7.959      488.6068 2.764764e-10 3.027757e-02   pass
20000  20016  4      10.840     492.0798 3.444116e-10 3.048797e-02   pass
20000  20016  4      10.921     488.4377 3.444116e-10 3.048797e-02   pass
22000  22008  4      14.274     497.3759 4.067934e-10 2.979601e-02   pass
22000  22008  4      14.274     497.3802 4.067934e-10 2.979601e-02   pass
25000  25000  4      20.902     498.4113 5.756929e-10 3.273759e-02   pass
25000  25000  4      20.977     496.6337 5.756929e-10 3.273759e-02   pass
26000  26000  4      23.410     500.5833 6.045771e-10 3.179048e-02   pass
26000  26000  4      23.380     501.2241 6.045771e-10 3.179048e-02   pass
27000  27000  4      26.175     501.3704 6.066660e-10 2.958412e-02   pass
30000  30000  1      35.478     507.4061 7.727572e-10 3.046217e-02   pass
35000  35000  1      56.047     510.0315 1.169540e-09 3.394997e-02   pass
40000  40000  1      82.851     515.0183 1.560079e-09 3.469669e-02   pass
45000  45000  1      117.600    516.6165 1.937528e-09 3.408877e-02   pass

Performance Summary (GFlops)

Size   LDA    Align.  Average  Maximal
1000   1000   4       148.0246 150.8737
2000   2000   4       290.3157 291.1772
5000   5008   4       383.2877 384.9181
10000  10000  4       449.3992 453.8042
15000  15000  4       477.6769 483.8939
18000  18008  4       485.7853 488.6068
20000  20016  4       490.2587 492.0798
22000  22008  4       497.3780 497.3802
25000  25000  4       497.5225 498.4113
26000  26000  4       500.9037 501.2241
27000  27000  4       501.3704 501.3704
30000  30000  1       507.4061 507.4061
35000  35000  1       510.0315 510.0315
40000  40000  1       515.0183 515.0183
45000  45000  1       516.6165 516.6165

Residual checks PASSED

 , ,

praseodim ()

AMD Ryzen 3700X PRO. Кто нибудь знает можно ли будет его купить?

Судя по https://www.cpubenchmark.net/singleThread.html, в однопоточном тесте этот камень самый лучший. Но походу его можно купить только в составе системника, хотя и те не особо гуглятся.

На сколько можно доверять cpubenchmark.net? Разница в 20% производительности по сравнению с обычным 3700X не дает мне покоя, но брать системник целиком что-то не хочется.

 , ,

tlx ()

CPU vs GPU догоняет потихоньку

Просто результаты сравнительного теста Ryzen 9 3900X и Radeon RX580

AIDA64 GPGPU Benchmark (скромно потупясь, да-да, под оффтопиком запускал, но это непринципиально)

Radeon RX580Ryzen 9 3900X
Memory Read13063 MB/s41410 MB/s
Memory Write12827 MB/s39449 MB/s
Memory Copy186053 MB/s43695 MB/s
Single-Precision FLOPS6264 GFLOPS1579 GFLOPS
Double-Precision FLOPS391.5 GFLOPS789.1 GFLOPS
24-bit integer IOPS6260 GIOPS393.4 GIOPS
32-bit integer IOPS1253 GIOPS393.7 GIOPS
64-bit integer IOPS313.2 GIOPS98.59 GIOPS
AES-25633429 MB/s109151 MB/s
SHA-1 Hash73763 MB/s37069 MB/s
Single-Precision Julia947.4 FPS583.6 FPS
Doble-Precision Mandel74.36 FPS308.1 FPS

Как сказано, на CPU использовался не OpenCL, а специально оптимизированные программы для вычислений, да и карточка уже далеко не топовая, но тем не менее. Видно, что в некоторых случаях CPU даже быстрее, а почти во многих не принципиально отстает.

Особенно интересно, что в таком очень важном для вычислений вопросе как скорость вычислений с плавающей запятой с двойной точностью (64 бита) процессор уже в два раза быстрее обычной карточки.

Топовые процессоры типа TR 3990x наверное и вообще быстрее будут. История развивается по спирали? С CPU начали массивно-параллельные задачи переносить на GPU, но по мере нарастания гонки ядер обычных CPU преимущества вычислений на видеокарте слабеют.

 ,

praseodim ()

Жабоскрипт - зло

Или методы его использования...

Наконец-то проапгрейдил комп с старого 6-ядерного Core i7 3930K на Ryzen 9 3900X на новый 12-ядерный. Об этом я еще поподробнее скажу, учитывая ECC память и все такое, но пока еще только осваиваюсь, все по дефолту и т.д.

Но есть первое впечатление. Обычная работа системы (на дисках все прежнее, ничего не менял, сами диски тоже не менял, они причем не ssd) не сказать бы, что как-то заметно ускорилась. Несколько быстрее стартует, быстрее выключается, в общем-то и все. Надо на ssd ставить, чтобы почувствовать, но меня как бы и устраивает.

К теме топика. Ощутимо быстрее стали открываться сайты в интернете. Вот прямо сразу почувствовал, что как-то задержка сократилась. Не то, чтобы она большая была, но это чувствуется. Причем сеть и провайдер тот же, даже сетевую карточку переставил туже. Это что же значит?

Значит жабоскрипт ускорился! Реально другой причины для «ускорения интернета» не вижу. Жаль бенчмарки javascript не догадался на старом процессоре прогнать.

Но ведь и 3930k не сказать бы что слабый процессор!!! Просто жрет этот жабаскрипт как не в себя. Я иногда запускаю еще один комп - Core 2 Duo E8500 @ 3.16 ГГц (не разгонял), так на нем на некоторые сайты уже тяжело заходить. Тормозят.

 , ,

praseodim ()

Достаточно интересный тест win10 vs ubuntu

Взяли самый дешевый лэптоп за 199$, 14", Ryzen 3 3200U, 4гб RAM, 128GB SSD

https://www.phoronix.com/scan.php?page=article&item=ryzen3-windows-linux&num=1

Убунта пусть и не самый быстрый дистр, выиграла в 60+% тестов. Больше всех любит win10 милый многим firefox, GpuTest и виртуализация.

 , , ,

One ()

ssd бенчмарк

я тут решил померить какая фс отзывчивей наткнулся на скриптик (ответ с 11 лайками)

https://unix.stackexchange.com/questions/93791/benchmark-ssd-on-linux-how-to-measure-the-same-things-as-crystaldiskmark-does-i

у меня на xfs скромные

equential Read (Q= 32,T= 1) :   537MB/s [   16 IOPS]
Sequential Write (Q= 32,T= 1) :   280MB/s [   8 IOPS]


а на пикче в посте у ntfs-3g 3157 в чтении двухкратное приемущество перед другими. Каким это образом?

 ,

jtad ()

Тест видеокарты adeon RX 570, драйвер xf86-video-amdgpu 19.1.0-1

Посоветуйте игру для тестирования видеокарты в GNU/Linux.

Интересует тестирование Radeon RX 570, драйвер xf86-video-amdgpu 19.1.0-1.

Не в обертке с wine, а полностью нативную игру, использующую современные технологии Vulkan.

Есть такое?

 , , ,

int13h ()

Стресс тест pci-e

Чем можно гонять максимальный поток данных по pci-e с видеокартой в linux?

 , , ,

darkenshvein ()

Нужна помочь владельцев core2 в измерении производительности программы

Есть программа.

( читать дальше... )

Есть вторая программа: https://benchmarksgame-team.pages.debian.net/benchmarksgame/program/revcomp-g...

Нужно сравнить их, собирать так(нужен буст) и gcc8.3 или новее.

g++ -Ofast -march=native -fwhole-program -std=gnu++2a -lstdc++fs main.cpp -o prog_name

Для того, что-бы забенчить - нужно взять этот код: https://benchmarksgame-team.pages.debian.net/benchmarksgame/program/fasta-gcc... Записать в fasta.c

Собрать так:

gcc -pipe -Wall -O3 -fomit-frame-pointer -march=native -fopenmp fasta.c -o fasta

Далее, нужно сделать следующие:

./fasta 100000000 > fasta_100000000.txt


time ./первая_программа 0 < fasta_100000000.txt > /dev/null

time ./вторая_программа 0 < fasta_100000000.txt > /dev/null

Запустить надо по 2-3 раза. Результаты напечатать сюда.

 , , ,

freddie_sadler ()

Бенчмарки для терминалов

Есть чего-то обще принятое? На трупут можно на колене сделать, а вот на лэйтенси? Может у похороникса чего кто видел?

 , , ,

pon4ik ()

Специалистам по SSD

Добрый день всем. Вчера купил себе Intel 545s SSD на 256 Гб. Поставил себе в ноутбук и немного прифигел от такой низкой производительности.

Шиндошс (AS SSD benchmark):
https://pic4a.ru/94/rjM.png
https://pic4a.ru/94/JZU.png

Линукс (dd):
https://pic4a.ru/94/NuC.png

Линукс (fio):
https://pic4a.ru/94/F8T.png
https://pic4a.ru/94/hh8.png
https://pic4a.ru/94/8Xu.png
https://pic4a.ru/94/pz2.png

Предыдущий EVO 850 120 Гб работал намного быстрее, 50к IOPS в Windows, 70-80к в Linux, линейное чтение стабильно 500 MБ/сек в рамках SLC-кэша. TRIM работает, сам ручками запускал.

Что делать? Нести в гарантийку? Или это как-то чинится? Зачем я потратил 3,5 т.р. за железку, которая работает медленнее диска за 2 т.?

UPD
Переставил диск в другой компьютер (в десктоп). Всё сразу стало намного лучше
https://pic4a.ru/94/z_l.PNG
https://pic4a.ru/94/ovV.PNG
https://pic4a.ru/94/DL8.png
https://pic4a.ru/94/0y2.png

https://pic4a.ru/94/FYx.png
https://pic4a.ru/94/DYG.png

Похоже, какая-то проблема с ноутом. С диском всё хорошо и даже отлично (чуточку медленнее, чем на EVO 850, но всё равно весьма прилично). Вернул диск в ноут, работает он там всё ещё медленнее, чем на десктопе, но таких провалов в скорости уже нет. На этом решил успокоиться и закрыть для себя вопрос.

 , ,

h31 ()

Benchmark для транспорта/бэкэнда x11

Есть X11 приложение, где плохо развязана бизнес логика и блокировки на ui. Доступа к исходным кодам - нет. От приложения требуется определённый уровень производительности (лэйтенси меньше чем среднестатистический интернет) и удалённый доступ к нему.

Хочется проверить, кто из кандидатов будет выдавать наименьшие времена блокировки при отрисовке и ожидании событий ui:

  • x11 forwarding
  • x2go
  • xpra
  • vnc
  • rdp

 , , , ,

pon4ik ()

apache bench время выполнения скрипта

как выводить время выполнения каждого запроса?
счас использую такую команду
ab -n 10000 -c 500 http://test/payment.php

 

kommersant ()

2080

часа три назад заказал себе RX 580@8GB, в игры играть, и тут такое:

https://www.phoronix.com/scan.php?page=article&item=nvidia-2080ti-linux&a...

слишком быстрая, слишком мощная, даже слишком.

 , ,

eR ()

RyzenTR vs IntelCore-i9

Вот может кому интересна будет инфа : https://www.techspot.com/review/1683-linux-vs-windows-threadripper-vs-core-i9/

 

mx__ ()

3D News - обширное тестирование Intel CPU, от 2700К

https://3dnews.ru/969891

Годнота приехала в наши битдробилки, там надо просто смотреть графики.

 , ,

Deleted ()

Диски. Чем мерить IOPS (количество операций ввода/вывода *скорости* диска) в Linux?

Как мы знаем, только SSD могут разнятся по скорости, а на HDD ироды-производители эту самую скорость на наклейку забыли напечатать!.. Так для начала, эту скорость консервных банок з начала нулевых (в IOPS), сетующих на плохую скорость HDD, надо чем-то предлагать измерить, но чем это модно делать под Linux?

 , , , ,

Quasar-Napilnik_CPY ()

Чем длительно нагрузить CPU на полную?

Собственно, вопрос в заголовке. Есть ноутбук, в нем i7-4702HQ. Хочу дать ему непрерывную максимальную нагрузку чтобы посмотреть на температуру и узнать, способна ли установленная система охлаждения справится с таким режимом работы.

На ум приходит встроенный бенчмаркинг 7z или geekbench в цикле. Может запустить какую-то компиляцию?

 ,

aquadon ()