LINUX.ORG.RU
ФорумTalks

подход с пайпами - однопроцессорный


0

0

Вот все юниксоиды понтуются тем, что командная строка позволяет комбинировать улититы. Но ведь эта модель комбинирования не позволяет использовать большое количество процессоров (и прочей аппаратуры) эффективно - она указывает единственное направление передачи и обработки данных. Все утилиты старые, слабо распараллеленные.
В смысле распараллеливания гораздо лучше реализованы всякие там графические редакторы SSIS (и наглядно и параллельно)

В юниксах все запайпленные процессы запускаются одновременно, а пайп символизирует синхронизированную FIFO-очередь. То, о чем говоришь ты — это CP/M и MS-DOS какой-то.

shimon ★★★★★
()

как раз позволяет, все компоненты pipe могут работать на разных ядрах

в любом случае некоторые утилиты пишутся с использованием openmp (imagemagick) или иной параллелизации (pigz,pbzip2)

Sylvia ★★★★★
()

> подход с пайпами - однопроцессорный

ещё скажи, что однозадачный ))

name_no ★★
()
Ответ на: комментарий от GotF

Если мне надо посчитать контрольные суммы файлов, делаю так:

find /path/to/src/dir ! -type d -print0 | xargs -0 md5sum -b >sums.txt

почему оно мне подсчет md5 сумм само не распараллелит?
Как написать правильно?

shnyavin
() автор топика
Ответ на: комментарий от shnyavin

> find /path/to/src/dir ! -type d -print0 | xargs -0 md5sum -b >sums.txt

почему оно мне подсчет md5 сумм само не распараллелит?

Тебе нужно распараллелить именно _подсчет_? Не вопрос %)

find /path/to/src/dir ! -type d -print | (while read fn; do md5sum -b $fn & done)

Сбор всех сумм в один файл остается тебе как домашнее задание :D

tailgunner ★★★★★
()
Ответ на: комментарий от shnyavin

1. Распараллелить можно, но как ты собрался несколькими процессами параллельно в один файл писать? 2. Ты же сам здесь решил xargs пользоваться, чему ты удивляешься

Black_Shadow ★★★★★
()
Ответ на: комментарий от shnyavin

почему оно мне подсчет md5 сумм само не распараллелит

Не заказывал.

$ cat par
#!/bin/bash
"$@" &
$ find ... | xargs -n 5 par md5sum

DonkeyHot ★★★★★
()

И, да, пайпы не имеют никакого отношения к возможности или не возможности параллельного исполнения.

Black_Shadow ★★★★★
()
Ответ на: комментарий от stevejobs

> Ну и где гарантия что при параллельной записи оно не разфигачит файл?

ТС хотел, чтоб ему распараллелили, а не чтобы файл не расфигачило.

name_no ★★
()

ТС, линукс еще не научился два монитора асиливать, а ты параллельных утилит хочешь =) Может, стоит написать в поддержку Sun?

stevejobs ★★★★☆
()
Ответ на: комментарий от stevejobs

Говорят, XFCE лучше всех умеет работать с двумя мониторами. Попробуй как вариант.

GotF ★★★★★
()
Ответ на: 4.2 от shahid

и как это поможет мне распараллелить другие задачи?

shnyavin
() автор топика
Ответ на: комментарий от stevejobs

и где гарантия что при параллельной записи оно не разфигачит файл?


проверил на практике - расфигачивает

shnyavin
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.