Паралельное поблочное вычисление CRC32

Интересно, можно ли вычислять CRC32 паралельно? Есть большой участок памяти. Разбиваем на кусочки по 64к. Для каждого кусочка считаем CRC32 паралельно. Потом эти значения как-то комбинируем чтобы получить CRC32 всего большого блока памяти.

Ссылка

← Хочется странного

vardic macros от произвольного числа аргументов →

http://outputlogic.com/my-stuff/parallel_crc_generator_whitepaper.pdf
https://pdfs.semanticscholar.org/8878/ef289476fe80d31caf5873290e3b614949ed.pdf
https://www.cypress.com/file/136121/download

PPP328 ★★★★★
(28.10.19 10:18:38 MSK)

можно. это же тупо деление в столбик.

например у тебя входные 1024 байт.

делишь их на 4 х 256 байт, каждый 256 байт мысленно представляешь как integer длиной 256*8бит(2048). далее идет деление на полином, тут гугли что и как. получаешь 4 остатка: R0, R1, R2, R3.

дальше такая магия:

CRC от исходных данных = CRC(R0 xor CRC(C1<<2048) xor CRC(C2<<4096) xor CRC(C3<<5144)).

причем CRC(C1<<(2^n)) тоже можно посчитать в один ход, это будет умножение на число K такое, что K=CRC(1<<2^n)

~~example_cat~~
(28.10.19 10:57:12 MSK)