Прямо с зачёта пишешь?

)) Нет, отчёт нужен. Сам второй день не могу решить.

fdupes не поможет?

[1]

Ты такой оценки и заслуживаешь. Жаль, отменили их ☹

Я так понял, тебе нужно и в подкаталогах эти файлы искать? Ну так читай man find. Но это долго. Я бы сделал точно так же, как в своем скрипте по поиску одинаковых файлов (а не одинаковых имен): в БД sqlite сливается выхлоп find, а потом ищутся дубликаты.

Я его установить не смог. Вообще желательно цикл c 2 for -ами.

желательно цикл c 2 for -ами

На баше?

Я тебя поздравляю! Тестовую директорию с 1024 вложенными поддиректориями по 100500 файлов в каждой ты будешь очень долго for'ами сравнивать!

Сделай в sqlite БД с двумя полями: filename и fullpath. В первое заноси basename найденных файлов, а во второе — путь к ним (это можно при помощи одного прогона find сделать). А потом ищи дубликаты по filename.

Я нашёл похожую задачу (типо записать в другой файл эти одинкавые файлы), но не смог перестроить. Там всего 16 строчек. Это не так много.

c 2 for -ами

Не нужно.

имена которых задаются первым и вторым параметрами сценария
вывести на экран
отчёт нужен

на лабу?

Ну типо

man comm

5$ вышлешь после прочтения

read a read b for file in `ls $a | xargs -n 1 -i echo $a/{}` do for file in `ls $b | xargs -n 1 -i echo $b/{}` do { diff - acs «$file1» «$file2» > «/home/user/abc.sh» if [ $? ] then echo «123» fi } done done

Этот код пытался переделать.

man comm

Он файлы сравнивает. Как там каталоги указать, в которых хочу их сравнивать?

отжеж

$ mkdir -p /tmp/c1 /tmp/c2 && for i in {1..10}; do touch /tmp/c1/file$i; touch /tmp/c2/file$i; done && \
rm /tmp/c2/file{5,6,7} && cd /tmp/c1/ && ls > /tmp/c1.list && cd /tmp/c2/ && ls > /tmp/c2.list && \
comm -12 /tmp/c1.list /tmp/c2.list

Решение на YobaLisp:

(yoba-intersection 
    (yoba-get-file-list yoba-arg-1)
    (yoba-get-file-list yoba-arg-2))

Ща попробую

Вообще желательно цикл c 2 for -ами.

Ужас какой.
Сортируешь по размеру, у совпадающих размеров проверяшь совпадение md5-хэша.

Он файлы сравнивает. Как там каталоги указать, в которых хочу их сравнивать?

со скидкой, всего 3$: man ls, man tmpfile

и заодно уж, бесплатно: посчитать число строчек - это «wc -l»

PS/ ещё чуть и дойдём до стольника :-)

PPS/ сдаётся мне, что я продешевил..

Ему только по именам задали.

Нужен bash код.

А что не поставил соответствующий тег?

А вообще в /Job.

Так надо было на пары ходить в семестре!

diff -asr /dir1/ /dir2/

или както так

в тегах, надо думать, вероятное содержимое зачетки.

вспомнилось

- Банкет?
- Не… Обед…
(с) Кин-дза-дза

anonymous (26.05.2015 20:53:36)

Чувак, спасибо, но поясните, если у меня есть 2 каталога (read a; read b) то куда в этом коде мне их вписать?

Файлы считаются одинаковыми если у них одинаковые имена? Или имеет значение размер, чексумма и т.д.? Если второе то, ИМХО, проще использовать DCVS

Файлы считаются одинаковыми если у них одинаковые имена?

Да просто 2 папки. Размер не важен. Вместо чего в коде написать a и b?

Возможно будет проще парсить вывод diff -arq folder1 folder2

можно вообще что-то по мотивам:

#!/bin/sh
difference=`cp -f --no $1 $2 2>&1`

в $difference будет список имён которые есть и в 1$ и в $2 :-)

Ок, что на это заменить?

Но при этом файлы будут копироваться, что может занять некоторое время и не нужно по ТЗ

и не нужно по ТЗ

по ТЗ нужно вывести список файлов, чьи имена одинаковы в обоих каталогах. ВСЁ. А что «можно делать с файлами тама ни сказана» :-) Что не запрещенно, то разрешено - пусть им на лабу дают чёткое ТЗ

и у «cp» вволю флагов чтобы лишний раз не копировать, пусть ТС их изучает :-)

fdupes

/thread

Ошибка: Bad fd number

Вот что получилось #!/bin/sh read a read b difference=`cp -f --no $a/* $b/* 2>&a` fdupes difference

Что не запрещенно, то разрешено - пусть им на лабу дают чёткое ТЗ

dd тогда ему в раздел
ну а чо :)

dd тогда ему в раздел

а звучит-то как ! брутальнее чем «Х?р в Ж??у» :-)

кстати, идея:

#!/bin/sh
rm -rf $2/* && echo "в каталогах $1 $2 нет одноимённых файлов"

find . -exec basename {} \; | sed 's/\(.*\)\..*/\1/' | sort | uniq -c | grep -v "^[ \t]*1 "

Благодари

Хорошо конечно, но первая часть не работает: dupes not found

Благодари

Чувак, где тут свои каталоги указывать?

«таблица существовала» (с)

Всё внимание на find .

Если честно я не понял что тут нужно дописать. Возможно find . -name $a/* а что тогда дальше? Какой тут процесс над ним можно выполнить?

find dir1 dir2 dirN -exec basename ... и далее по командам

Алсо, я вроде нашел твоего препода, скриншот треда я сделал, пишу сейчас письмецо ему. :) Надеюсь, я не ошибся преподом. :)

у меня есть 2 каталога (read a; read b)

$a вместо $1
$b вместо $2

P.S. Всё хуже чем я думал.

Я написал тот код, только потому что это был чистый баш, без coreutils и прочих утилит.

Испугайся!

#!/bin/sh
#	2 минуты 12.38 секунд  на 12'989 файлов общим размером 10'026'786'125 байт
#		(стало: 9'919'093'813 байт)
#	1 минута 13.00 секунд на 10'399 файлов общим размером 27'171'656'169 байт
#		(стало: 26'401'660'287 байт)
#	1 минута 17.82 секунд на 8'686 файлов общим размером 11'474'216'791 байт
#		(стало: 11'131'537'062 байт)
#	3 минуты 19.77 секунд на 16'257 файлов общим размером 70'697'892'519 байт
#		(стало: 69'132'667'051 байт)
#

FILELIST="/tmp/filelist_4_mysql"
SQLFILE="/tmp/tmp_4_mysql"
OUTP="/tmp/double_files"
DB="/tmp/filelistdb"

STEP_CNTR=0
#DUP_CNTR=0

if [ "$1" = "-h" ]; then
	echo "Usage: $(basename $0) [-h|-d|-l]"
	echo -e "\t-h\tshow this help"
	echo -e "\t-l\tmake hardlinks for duplicates"
	echo -e "\t-d\tdelete duplicates"
	exit 1
fi

function SQL(){
	echo -e $* | sqlite3 $DB
}

function SQLF(){
	sqlite3 $DB < $SQLFILE
}


function Step(){
	STEP_CNTR=$[$STEP_CNTR + 1 ]
	echo -e "\n\e[1;32m$STEP_CNTR\t\t$*...\e[0m"
}

rm -f $FILELIST $SQLFILE $OUTP $DB

Step "Init database"
SQL "create table files(filename string, filesize integer); create table dups(filename string, filemd5 long);"

Step "Making list of files"
find  -type f -printf "%p\t%s\n" > $FILELIST

Step "Finding files with same size"
cat > $SQLFILE << EOF
delete from files;
.mode tabs
.import /tmp/filelist_4_mysql files
delete from files where filesize in (select filesize from (select filesize,count(*) c from files group by filesize having c = 1) T);
delete from files where filesize = 0;
select filesize from files group by filesize;
EOF

SQLF > $OUTP

cat > $SQLFILE << EOF
delete from dups;
.mode tabs
.import /tmp/filelist_4_mysql dups
delete from dups where filemd5 in (select filemd5 from (select filemd5,count(*) c from dups group by filemd5 having c = 1) T);
select filename from dups group by filemd5;
EOF

Step "Finding duplicates"
while read SIZE
do
	rm -f $FILELIST
	SQL "select filename from files where filesize = $SIZE ;" | while read FILE
	do
		MD=$(sha1sum -b "$FILE" | awk '{print $1}' 2>/dev/null);
		if [ "$MD" != "" ]; then
			echo -e "$FILE\t$MD" >> $FILELIST
		else
			echo -e "\e[1;31;40mCant read MD5 of $FILE\e[0m\nTrace:"
			SQL "select filename from files where filesize = $SIZE;" 
		fi
	done
	SQLF | while read FILE
	do
		echo -e "\n\e[1;41;33m$FILE\e[36m has dublicates:\e[0m"
		SQL "select filename from dups where filemd5 = (select filemd5 from dups where filename = \"$FILE\") AND filename != \"$FILE\";"  | while read D_FILE
		do
			echo -e "\e[1;32;40m$D_FILE\e[0m"
			[ "$1" = "-d" ] && rm -f "$D_FILE" && echo "deleted"
			[ "$1" = "-l" ] && ln -f "$FILE" "$D_FILE" && echo "linked"   #|| ln -fs "$FILE" "$D_FILE" || echo -e "\e[1;31;40merror linking $FILE to $D_FILE!!!\e[0m"
		done
	done
done < $OUTP

Step "Deleting trash"
#echo "delete from files; delete from dups;" 
rm -f $FILELIST $SQLFILE $OUTP $DB

Вот только ТСу не это нужно, а тупо найти одноименные файлы.

Если бы ему хватило мозгов, он бы мог взять этот скриптик и маленько видоизменить его.

ппц ты, эдди, наркоман.

Я просто сначала этот скрипт накатал, а только потом узнал про fdupes.

Но хоть fdupes и шустрей в 2 раза, мне все равно мой скрипт милей.