Rozwiązywanie problemu „mv: lista argumentów za długa”?

Mam folder z ponad milionem plików, który wymaga sortowania, ale tak naprawdę nie mogę nic zrobić, ponieważ mvcały czas wyświetla ten komunikat

-bash: /bin/mv: Argument list too long

Używam tego polecenia do przenoszenia plików bez rozszerzeń:

mv -- !(*.jpg|*.png|*.bmp) targetdir/

xargsjest narzędziem do pracy. To lub findz -exec … {} +. Te narzędzia uruchamiają polecenie kilka razy, z tyloma argumentami, ile można przekazać za jednym razem.

Obie metody są łatwiejsze do przeprowadzenia, gdy lista argumentów zmiennych znajduje się na końcu, co nie ma miejsca w tym przypadku: ostatnim argumentem mvjest miejsce docelowe. W przypadku narzędzi GNU (tj. W niewbudowanym systemie Linux lub Cygwin) -topcja mvjest przydatna, aby najpierw przekazać miejsce docelowe.

Jeśli nazwy plików nie mają białych znaków ani żadnego z nich \"', możesz po prostu podać nazwy plików jako dane wejściowe xargs( echopolecenie jest wbudowane w bash, więc nie podlega limitowi długości wiersza poleceń):

echo !(*.jpg|*.png|*.bmp) | xargs mv -t targetdir

Możesz użyć -0opcji, aby xargsużyć danych rozdzielanych znakami null zamiast domyślnego formatu cytowanego.

printf '%s\0' !(*.jpg|*.png|*.bmp) | xargs -0 mv -t targetdir

Alternatywnie możesz wygenerować listę nazw plików za pomocą find. Aby uniknąć rekurencji w podkatalogach, użyj -type d -prune. Ponieważ dla wymienionych plików obrazów nie określono żadnej akcji, przenoszone są tylko inne pliki.

find . -name . -o -type d -prune -o \
       -name '*.jpg' -o -name '*.png' -o -name '*.bmp' -o \
       -exec mv -t targetdir/ {} +

(Obejmuje to pliki kropkowe, w przeciwieństwie do metod wieloznacznych powłoki).

Jeśli nie masz narzędzi GNU, możesz użyć powłoki pośredniej, aby uzyskać argumenty we właściwej kolejności. Ta metoda działa na wszystkich systemach POSIX.

find . -name . -o -type d -prune -o \
       -name '*.jpg' -o -name '*.png' -o -name '*.bmp' -o \
       -exec sh -c 'mv "$@" "$0"' targetdir/ {} +

W Zsh możesz załadować mvwbudowane :

setopt extended_glob
zmodload zsh/files
mv -- ^*.(jpg|png|bmp) targetdir/

lub jeśli wolisz pozwolić, mva inne nazwy nadal odnoszą się do poleceń zewnętrznych:

setopt extended_glob
zmodload -Fm zsh/files b:zf_\*
zf_mv -- ^*.(jpg|png|bmp) targetdir/

lub z globami w stylu ksh:

setopt ksh_glob
zmodload -Fm zsh/files b:zf_\*
zf_mv -- !(*.jpg|*.png|*.bmp) targetdir/

Alternatywnie, używając GNU mvi zargs:

autoload -U zargs
setopt extended_glob
zargs -- ./^*.(jpg|png|bmp) -- mv -t targetdir/

Jeśli praca z jądrem Linuksa wystarczy, możesz to zrobić

ulimit -s 100000

to zadziała, ponieważ jądro Linuksa zawierało łatkę około 10 lat temu, która zmieniła limit argumentów w zależności od wielkości stosu: https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/ commit /? id = b6a2fea39318e43fee84fa7b0b90d68bed92d2ba

Aktualizacja: jeśli czujesz się odważny, możesz powiedzieć

ulimit -s unlimited

i będziesz w porządku z dowolnymi rozszerzeniami powłoki, o ile masz wystarczającą ilość pamięci RAM.

Limit przekazywania argumentów systemu operacyjnego nie ma zastosowania do rozszerzeń, które mają miejsce w interpretatorze powłoki. Oprócz użycia xargslub find, możemy po prostu użyć pętli powłoki, aby rozbić przetwarzanie na poszczególne mvpolecenia:

for x in *; do case "$x" in *.jpg|*.png|*.bmp) ;; *) mv -- "$x" target ;; esac ; done

Używa tylko funkcji i narzędzi POSIX Shell Command Language. Ten jednowarstwowy jest wyraźniejszy dzięki wcięciu, z usuniętymi niepotrzebnymi średnikami:

for x in *; do
  case "$x" in
    *.jpg|*.png|*.bmp) 
       ;; # nothing
    *) # catch-all case
       mv -- "$x" target
       ;;
  esac
done

Aby uzyskać bardziej agresywne rozwiązanie niż wcześniej oferowane, pobierz źródło jądra i edytuj include/linux/binfmts.h

Zwiększ rozmiar MAX_ARG_PAGESdo czegoś większego niż 32. Zwiększa to ilość pamięci, którą jądro pozwoli na argumenty programu, tym samym umożliwiając określenie twojego polecenia mvlub rmpolecenia dla miliona plików lub cokolwiek robisz. Ponownie skompiluj, zainstaluj, uruchom ponownie.

STRZEC SIĘ! Jeśli ustawisz zbyt dużą wartość dla pamięci systemowej, a następnie uruchom polecenie z dużą liczbą argumentów, BĘDĄ RZECZY! Zachowaj szczególną ostrożność, robiąc to w systemach z wieloma użytkownikami, dzięki czemu złośliwi użytkownicy mogą zużywać całą pamięć!

Jeśli nie wiesz, jak ręcznie skompilować i ponownie zainstalować jądro, prawdopodobnie najlepiej udajesz, że ta odpowiedź na razie nie istnieje.

Prostsze rozwiązanie wykorzystujące "$origin"/!(*.jpg|*.png|*.bmp)zamiast bloku catch:

for file in "$origin"/!(*.jpg|*.png|*.bmp); do mv -- "$file" "$destination" ; done

Dzięki @Score_Under

W przypadku skryptu wielowierszowego możesz wykonać następujące czynności (zwróć uwagę ;przed doneupuszczeniem):

for file in "$origin"/!(*.jpg|*.png|*.bmp); do        # don't copy types *.jpg|*.png|*.bmp
    mv -- "$file" "$destination" 
done 

Aby zrobić bardziej ogólne rozwiązanie, które przenosi wszystkie pliki, możesz wykonać jedną linię:

for file in "$origin"/*; do mv -- "$file" "$destination" ; done

Który wygląda tak, jeśli wykonasz wcięcie:

for file in "$origin"/*; do
    mv -- "$file" "$destination"
done 

To bierze każdy plik w źródle i przenosi je jeden po drugim do miejsca docelowego. Cudzysłowy $filesą konieczne w przypadku, gdy w nazwach plików znajdują się spacje lub inne znaki specjalne.

Oto przykład tej metody, która działała idealnie

for file in "/Users/william/Pictures/export_folder_111210/"*.jpg; do
    mv -- "$file" "/Users/william/Desktop/southland/landingphotos/";
done

Czasami najłatwiej jest po prostu napisać mały skrypt, np. W Pythonie:

import glob, shutil

for i in glob.glob('*.jpg'):
  shutil.move(i, 'new_dir/' + i)

Możesz obejść to ograniczenie, wciąż je wykorzystując, mvjeśli nie masz nic przeciwko uruchomieniu go kilka razy.

Możesz przenosić porcje na raz. Załóżmy na przykład, że masz długą listę alfanumerycznych nazw plików.

mv ./subdir/a* ./

To działa. Następnie wybij kolejny duży kawałek. Po kilku ruchach możesz po prostu wrócić do korzystaniamv ./subdir/* ./

Oto moje dwa centy, dodaj to do .bash_profile

mv() {
  if [[ -d $1 ]]; then #directory mv
    /bin/mv $1 $2
  elif [[ -f $1 ]]; then #file mv
    /bin/mv $1 $2
  else
    for f in $1
    do
      source_path=$f
      #echo $source_path
      source_file=${source_path##*/}
      #echo $source_file
      destination_path=${2%/} #get rid of trailing forward slash

      echo "Moving $f to $destination_path/$source_file"

      /bin/mv $f $destination_path/$source_file
    done
  fi
}
export -f mv

Stosowanie

mv '*.jpg' ./destination/
mv '/path/*' ./destination/