LINUX.ORG.RU

Вышел GNU Parallel 20140815alpha

 , ,


3

2

GNU Parallel — это инструмент оболочки для параллельного выполнения задач на одном и более компьютерах. Задача может быть одной командой или маленьким скриптом, выполняющимся для каждой строки ввода. Типичным вводом являются список файлов, список хостов, список пользователей, список URL или список таблиц. Задача также может быть командой, читающей из трубы. GNU Parallel может разделить ввод и передать его через трубы распаралеленным командам.

Новое в этом выпуске:

  • GNU Parallel теперь использует ту же оболочку, из которой он был запущен, как командную оболочку для локальных задач. Таким образом, если GNU Parallel запущен из tcsh, он будет использовать в качестве оболочки tcsh даже если $SHELL содержит иное. Для удалённых задач будет использоваться заданный при входе $SHELL.
  • В bash можно полность скопировать текущее окружение с помощью обёрточной функции для оболочки (env_parallel).
  • --plus добавляет строки замены {+/} {+.} {+..} {+...} {..} {...} {/..} {/...}. Идея заключается в соответствии '+foo' противоположности 'foo' и {} = {+/}{/} = {.}.{+.} = {+/}/{/.}.{+.} = {..}.{+..} = {+/}/{/..}.{+..} = {...}.{+...} = {+/}/{/...}.{+...}
  • GNU Parallel будет освещён в web-трансляции 20 августа 2014 г.: «Наука о данных в командной строке» http://www.oreilly.com/pub/e/3115
  • GNU Parallel приведён в: «Web-сервисы для извлечения информации из больших объёмов научных данных» http://patshih.ist.psu.edu/publications/Williams-CiteSeerExtractor-ICWS14.pdf
  • «Взгляд внутрь GNU Parallel» http://blog.dataweave.in/post/94238943763/a-peek-into-gnu-parallel
  • Сборка GNU Parallel для CentOS/RHEL http://www.stableit.ru/2014/07/gnu-parallel-centosrhel.html
  • Исправления ошибок и обновления мануалов

GNU Parallel — Для людей, проживающих жизнь в параллельных полосах.

Больше информации про GNU Parallel можно найти на: http://www.gnu.org/s/parallel/

Вы можете установить GNU Parallel всего за 10 секунд: (wget -O - pi.dk/3 || curl pi.dk/3/) | bash

Посмотрите вступительное видео: http://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Пройдите через учебник (man parallel_tutorial). Ваша командная строка полюбит вас за это.

При использовании программ, использующих GNU Parallel для обработки данных для публикации, пожалуйста, процитируйте: O. Tange (2011): GNU Parallel - The Command-Line Power Tool, ;login: The USENIX Magazine, February 2011:42-47.

Ссылка на скачивание: http://alpha.gnu.org/gnu/parallel/

>>> Источник

командой, читающей из трубы

Эпический промптоперевод

maloi ★★★★★ ()

GNU Parallel — Для людей, проживающих жизнь в параллельных полосах.

Пройдите через учебник (man parallel_tutorial). Ваша командная строка полюбит вас за это.

vurdalak ★★★★★ ()

Почему-то первой ассоциацией сразу был Perl, а не промт.

WARNING ★★★★ ()

Задача также может быть командой, читающей из трубы.

GNU Parallel может разделить ввод и передать его через трубы

Взгляд внутрь GNU Parallel

GNU Parallel — Для людей, проживающих жизнь в параллельных полосах.

Пройдите через учебник

Сурово, однако.

MiniRoboDancer

Проверено: Shaman007

Встретились два фрегата, называется...

gill_beits ★★★ ()

Язабан автора и Шомы.

А утилита выглядит очень годной, ждем MapReduce на баше :)

buddhist ★★★★★ ()

Пройдите через учебник (man parallel_tutorial). Ваша командная строка полюбит вас за это.

Китайцы отдыхают со своими стельками!

sT331h0rs3 ★★★★★ ()

Вроде все слова знакомы, а смысла предложений понять не могу.

Reset ★★★★★ ()

Должно быть форумом ошиблись:) Это что-то для водопроводчиков?

axle_nix ()
Ответ на: комментарий от xsektorx

Очень, очень навороченный xargs, если вкратце.

AnDoR ★★★★★ ()

Это такой обрезанный вариант MPI без IPC и вне кода программ?

Quasar ★★★★★ ()

Живу в полосе, прошел через учебник, читаю из трубы, хочу запретить промт.

A-234 ★★★★★ ()

Интересно, а сборку ядра/офиса и пр «тяжёлых» вещей для gentoo можно пропустить через parallel?
Например, #parallel make
:) Даст ли это толк для «нераспараллеленых» make(ведро, например)?

drfaust ★★★★★ ()
Ответ на: комментарий от A-234

Живу в трубе, прошел полосы, читаю через учебник, тоже хочу запретить промт.

anonymous ()
Ответ на: комментарий от drfaust

make -j <n>

Полно программ, система сборки которых (обычно на autocrap) не разруливает зависимости между объектными или исполняемыми файлами в разных каталогах и при высокой параллелизации не может собрать проект.

anonymous ()
Ответ на: комментарий от anonymous

Так я енто ограничение и думал обойти с parallel
j(n) - не пашет в условиях makefile, а вдруг подобное сработает с ентой прогой?

drfaust ★★★★★ ()
Ответ на: комментарий от drfaust

j(n) - не пашет в условиях makefile

Что?

anonymous ()
Ответ на: комментарий от anonymous

Прочитай тред внимательно.
Речь идёт о прогах, которые не могут собраться с этим флагом!!!

drfaust ★★★★★ ()
Ответ на: комментарий от drfaust

Речь идёт о прогах, которые не могут собраться с этим флагом!!!

Ну и с каким тогда либастралом надо скомпоноваться, чтобы разными экземплярами make собирать разные цели по отдельности, а потом компоновать результат?

anonymous ()
Ответ на: комментарий от anonymous

А ядро прекрасно собирается с -j.

anonymous ()
Ответ на: комментарий от A-234

Плюсую. Давно мои глаза не вытекали на клавиатуру от такого вот... с позволения сказать... перевода

Twissel ★★★★★ ()
Ответ на: комментарий от anonymous

Ядрышко и мир фряхи не собираются в многопотоке(если не изменяет склероз). Относительно генту - проблемы с КДЕ и опенофисом.
Я говорил о возможности «обойти» однопоточную сборку с помощью «параллелепипеда».

drfaust ★★★★★ ()
Ответ на: комментарий от drfaust

для того чтобы он это смог - тебе придется создать списки файлов, которые можно компилировать независимо друг от друга, а если ты сделаешь такой список - можно и мейкфайл правильный написать.

maloi ★★★★★ ()
Ответ на: комментарий от maloi

Т.е. я сначала должен разрулить/распаралелить зависимости сборки, а уже потом думать чем и как собирать(makefile/parallel)?
Я-то думал там сборище «умных» скриптов, которые, по надобности сами могут разрулить зависимости.

З.Ы. теперь понятно - это просто средство запустить несколько шелл-комманд в паралель не напрягаясь.

drfaust ★★★★★ ()
Ответ на: комментарий от axle_nix

не, если б переводили translate.ru, то - для водопроводчиков.

Параллель GNU является инструментом раковины для...

samy_volosaty ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.