перенос файлов из папки в папку

inotify. Например:

inotifywait -e close_write -r директория && mv […]

или, вместо mv, split с нужными параметрами. Но лучше (намного лучше) не костылить на баше и написать скрипт на нормальном языке (на вкус). Ещё лучше - чинить сервис чтобы не валился, если это возможно - не перекидывать текстовые файлы.

да это понятно что сервис чинить. уже отправили на доработку но это доработка и прочее.. сейчас нужен костыль который сможет исполнить хоть какую то защиту )

Используй программы find, у неё есть параметр поиска по размеру, ищи файлы большего размера, чем твой пороговый размер и с ними производи действия с помощью split, всё можно уместить в пару строк, изучи параметр exec у find

Если надо разбивать по строкам, то split может и не поможет, можно попробовать в цикле head или tail, не знаю всех тонкостей split, может он тоже умеет по строкам

тонкостей split, может он тоже умеет по строкам

Не надо split путать с csplit. Вот csplit точно режет по строкам.

Попробуй поставить на крон вот это:

#!/bin/bash
for i in $(find /origin/ -maxdepth 1 -name "*.txt"); do
    if [ $(wc -c < $i) -gt 1000000 ]; then
        filename=$(basename $i)
        split --lines=5000 $i /destination/"${filename%.*}_" --additional-suffix=".txt" --numeric-suffixes=1
        rm $i
    else
        mv $i /destination/
    fi
done

Разбивает по 5к строк

Так же учитывай, что find будет смотреть рекурсивно все каталоги от указанного вглубь, если нужно это регулировать, добавь параметр maxdepth, например -maxdepth 1, что бы четко указать, что интересуют только файлы в указанной директории.

спасибо! пока думал вертел. подкинули такую еще идейку

#!/bin/bash

MAX_LINES=10000
SRC_DIR=/opt/papka1 
TARGET_DIR=/opt/papka3

for i in $SRC_DIR/*.txt; do
    if [ ! -f $i ]; then break; fi
    LINES=`wc -l $i`
    if [ ${LINES% *} -gt $MAX_LINES ]; then
 csplit -ks -f$TARGET_DIR/${i%.*}_ $i $MAX_LINES {$((${LINES% *}/$MAX_LINES-1))}
 rm -f $i
    else
 mv -f $i $TARGET_DIR
    fi
done

но чет как то не хочет оно разбивать по 10 000 строк (((

Ну тот скриптец что я выше скинул работает :) может потребоваться с путями поиграться, или именами файлов, но в целом проблем с разбиением не обнаружено.

Мне не совсем нравится идея разбивать именно по количеству строк, но это явный костыль, так что сильно задумываться на этот счет смысла нет.

А в целом это два идентичных куска кода, который просто используют чуть разные подходы.

У меня wc -c что бы посчитать байты, а у тебя wc -l для строк. Твой код оперирует константами, мой хардкодом (в случае костыля не критично имхо).

Ну и я использую обычный split, который имхо сильно читаемее :)

Еще, у тебя могут вылезти проблемы вот с этой конструкцией -f$TARGET_DIR/${i%.*}_

В реальных путях ты получишь что ни будь типа no such file or directory /opt/papka3/opt/papka1/file_aa

Именно по этому я сначала делаю basename.

Правильно - из папки в мамку, тупой вендузенок.

Папка тебе ремня выдает, а файлы находятся в директории.

спасибо ) я твой скрипт впилил. потестил разными файлами, все взлетело. спасибо еще раз ))

а теперь внимание! вишинка на торт!!!

руководство сказало спасибо, но использовать это не будем!!! занавес (ノ°益°)ノ

говорит ты ж придумал запихать 2 шага в crontab этого достаточно.

Не парься :) Просто относись к этому как к новому опыту в свою копилку.

Рад был помочь.

ну подумать только, кто-то добровольно и бесплатно в 2021 году пишет портянки на баше

если папки на одном диске mv должен просто переименовывать пути без копирования. Это происходит моментально при любом весе, потому что никакого реального «переноса» не происходит