DedupeCopy

DedupeCopy простой многопоточный инструмент копирования файлов предназначен для консолидации и реструктуризации расползание файловых систем.
Наиболее распространенное использование случай для резервного копирования данных в новый формат, игнорируя дублирующиеся файлы.
Другие области применения включают:
& NBSP; 1. Получение CSV-файл, описывающий все дублирующиеся файлы
& NBSP; 2. Сравнение различных файловых систем
& NBSP; 3. Модификация существующих наборов файлов в разных макетов (например, сортируются по расширению или время последнего изменения)
Этот инструмент * НЕ * замена Robocopy или Rsync и не пытаться заполнить роль этой игре.
Как и все, что ходит кода массива дерева, пожалуйста, используйте с осторожностью и не ожидать абсолютно никаких гарантий!
Примеры команд:
& NBSP; Создать дубликат файла-отчета для пути:
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p / Люди / -r -m проявляется dupes.csv
& NBSP; Скопируйте все файлы * .jpg из нескольких путей к структуре /YYYY_MM/*.jpg
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p C: \ фото -p D: \ фото -е JPG -R JPG: время изменения -c X: \ фото
& NBSP; Скопируйте все файлы из двух дисков, чтобы одной цели, сохраняя путь для
& NBSP; все расширения:
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p C: \ -p D: \ -с X: \ -m X: \ проявляются -R *: no_change
& NBSP; Резюме прерванный бег (при условии "-m проявляется" используется в перспективе предварительного):
& NBSP; & NBSP; & NBSP; dedupe_copy.py -p / Люди / -r -i dupes_2.csv проявляется -m проявляются
Последовательно скопировать различные источники в той же самой цели, не копируя файлы (дубликаты 2 источники и целевые 1):
& NBSP; & NBSP; & NBSP; 1.) Первая запись проявляется на всех устройствах
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \\ цель \ доля -m target_manifest
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \\ source1 \ доля -m source1_manifest
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \\ source2 \ доля -m source2_manifest
& NBSP; & NBSP; & NBSP; 2.) Скопируйте каждый источник к цели (с указанием --compare так манифесты от
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; другие источники загружаются, но не используется как часть набора для копирования и
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; --no-ходьбы, чтобы пропустить повторное сканирование источника):
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \\ source1 \ доля -с \\ цель \ доля -i source1_manifest
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; --compare source2_manifest --compare target_manifest & NBSP; --no-ходьбы
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; dedupe_copy.py -p \\ source2 \ доля -с \\ цель \ доля -i source2_manifest
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; --compare source1_manifest --compare target_manifest --no-ходьбы
Полный пример:
& NBSP; & NBSP; & NBSP;
& NBSP; & NBSP; & NBSP; Предполагая, что вы начинаете с набором файлов, изложенных следующим образом:
& NBSP; & NBSP; & NBSP; C: \
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; фото
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; Некоторые фотографии
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo1.jpg
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo2.jpg
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo3.jpg
& NBSP; & NBSP; & NBSP; D: \
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; фото
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; copied_photo
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo3.jpg
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo4.jpg
& NBSP; & NBSP; & NBSP; И вы выполните команду:
& NBSP; & NBSP; & NBSP; > Dedupe_copy.py -p C: \ фото -p D: \ фото -е JPG -R JPG: время изменения -c X: \ фото
Вы бы в конечном итоге с следующее (photo3.jpg был истинным дубликат):
& NBSP; & NBSP; & NBSP; ИКС:\
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; фото
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; 2012_08
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo1.jpg
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo2.jpg
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo3.jpg
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; 2012_09
& NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; & NBSP; photo4.jpg
Этот проект находится на BitBucket: http://www.bitbucket.org/othererik/dedupe_copy

Requirements:

• Python