Jak usunąć zduplikowane pliki za pomocą fdupes?

15

Po uruchomieniu fdupesznajduje ponad 30 000 zduplikowanych plików. Muszę zachować jeden plik i usunąć wszystkie pozostałe duplikaty (ponieważ niektóre z nich to pliki systemowe). Proszę dać mi polecenie lub skrypt, aby to zrobić bez naciskania „1 lub 2 lub wszystkie” dla każdej grupy duplikatów plików.

duplicate-files

— użytkownik84055
źródło

23

Możesz to zrobić, jeśli chcesz uruchomić to po cichu (właśnie użyłem go, aby usunąć 150 GB duplikatów działających w pamięci blokowej rackspace .. £ kerching !!)

fdupes -rdN dir/

r - recursive
d - preserver first file, delete other dupes
N - run silently (no prompt)

— użytkownik 288359
źródło

Czy nie ma opcji, która przeniósłaby się do kosza zamiast usuwania duplikatów?

— Augustin Riedinger

2

Czyfor f in $(fdupes -f .); do gvfs-trash $f; done

— Augustin Riedinger

2

@AugustinRiedinger: Jeszcze lepiej byłoby, fdupes -f . | xargs -rd '\n' -- gvfs-trashjeśli masz nazwy plików ze spacjami i znakami specjalnymi lub wiele plików.

— David Foerster,

@DavidFoerster nadal możesz mieć nazwy plików z nowymi liniami, co złamie twoje polecenie.

— Ruslan

@ Ruslan: To prawda, ale w tej chwili fdupesnie zapewnia opcji dla rekordów zakończonych zerem , więc nie ma lepszej opcji. Jest zdecydowanie lepszy niż for f in $(fdupes ...)chociaż. : -]

— David Foerster

9

fdupes ma bogaty interfejs CLI:

fdupes -r ./stuff > dupes.txt

Następnie usunięcie duplikatów było tak proste, jak sprawdzenie dupes.txti usunięcie szkodliwych katalogów. fdupesmoże również monitować o usunięcie duplikatów w miarę postępów.

fdupes -r /home/user > /home/user/duplicate.txt

Dane wyjściowe polecenia wchodzą duplicate.txt.

fdupes porówna rozmiar i skrót MD5 plików, aby znaleźć duplikaty.

Sprawdź stronę fdupespodręcznika, aby uzyskać szczegółowe informacje na temat użytkowania.

— Sprzedaż Amol
źródło

Znalazłem drogę. tak 1 | fdupes -rd / mnt / hda5 / midi_files

— user84055,

Zobacz także superuser.com/a/691551/122096

— x29a

2

Korzystałbym z tego bezpieczniejszego sposobu:

Utwórz skrypt i przenieś zduplikowane pliki do nowego folderu. Jeśli przejdziesz do folderu poza oryginalnym folderem, fdupes nie zgłosi zduplikowanych plików podczas drugiego skanowania i bezpieczniej będzie je usunąć.

#!/bin/bash

# Save default separator definitions
oIFS=$IFS
# define new line as a separator, filenames can have spaces
IFS=$'\n';

# For each file (f) listed as duplicated by fdupes, recursively
  for f in `fdupes -r -f .`
  do
    # Log the files I'm moving
    echo "Moving $f to folder Duplicates" >> ~/log.txt
    # Move the duplicated file, keeping the original in the original folder
    mv $f Duplicates/
  done

# restore default separator definitions
IFS=$oIFS

— LinuxHelper
źródło

1

Używam fslint i DupeGuru od dłuższego czasu.

FSlint obsługuje selekcję za pomocą symboli wieloznacznych i innych metod czyszczenia
DupeGuru obsługuje wyrażenia regularne

Oba mogą obsłużyć> 10000 plików / folderów

— seb
źródło