Polecenie powłoki do katalogu tar z wyłączeniem niektórych plików / folderów

Czy istnieje proste polecenie / skrypt powłoki, który obsługuje wykluczanie archiwizacji niektórych plików / folderów?

Mam katalog, który należy zarchiwizować, z podkatalogiem zawierającym wiele bardzo dużych plików, których nie muszę tworzyć kopii zapasowej.

Niezupełnie rozwiązania:

tar --exclude=PATTERNKomenda pasuje do podanego wzorca i wyklucza te pliki, ale muszę określone pliki i foldery, które mają być ignorowane (pełna ścieżka do pliku), inaczej ważne pliki mogą być wykluczone.

Mógłbym również użyć polecenia find, aby utworzyć listę plików i wykluczyć te, których nie chcę archiwizować i przekazać listę do tar, ale działa to tylko z niewielką ilością plików. Mam dziesiątki tysięcy.

Zaczynam myśleć, że jedynym rozwiązaniem jest utworzenie pliku z listą plików / folderów, które mają zostać wykluczone, następnie użyj rsync z, --exclude-from=fileaby skopiować wszystkie pliki do katalogu tmp, a następnie użyj tar do zarchiwizowania tego katalogu.

Czy ktoś może wymyślić lepsze / bardziej wydajne rozwiązanie?

EDYCJA: Rozwiązanie Charlesa Ma działa dobrze. Duża gotcha polega na tym, że --exclude='./folder' MUSI znajdować się na początku polecenia tar. Pełna komenda (najpierw cd, więc kopia zapasowa jest względna w stosunku do tego katalogu):

cd /folder_to_backup
tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

Możesz mieć wiele opcji wykluczania dla tar, więc

$ tar --exclude='./folder' --exclude='./upload/folder2' -zcvf /backup/filename.tgz .

etc zadziała. Zrobić pewny postawić --exclude przed elementów źródłowych i docelowych.

Możesz wykluczyć katalogi --excludeza pomocą tar.

Jeśli chcesz zarchiwizować wszystko oprócz tego, /usrże możesz użyć:

tar -zcvf /all.tgz / --exclude=/usr

W twoim przypadku może coś takiego

tar -zcvf archive.tgz arc_dir --exclude=dir/ignore_this_dir

Możliwe opcje wykluczania plików / katalogów z kopii zapasowej przy użyciu tar:

Wyklucz pliki przy użyciu wielu wzorców

tar -czf backup.tar.gz --exclude=PATTERN1 --exclude=PATTERN2 ... /path/to/backup

Wyklucz pliki przy użyciu pliku wykluczenia wypełnionego listą wzorców

tar -czf backup.tar.gz -X /path/to/exclude.txt /path/to/backup

Wyklucz pliki przy użyciu znaczników, umieszczając plik znaczników w dowolnym katalogu, który należy pominąć

tar -czf backup.tar.gz --exclude-tag-all=exclude.tag /path/to/backup

stare pytanie z wieloma odpowiedziami, ale okazało się, że żadne nie było dla mnie wystarczająco jasne, więc chciałbym dodać moją próbę.

jeśli masz następującą strukturę

/home/ftp/mysite/

z następującymi plikami / folderami

/home/ftp/mysite/file1
/home/ftp/mysite/file2
/home/ftp/mysite/file3
/home/ftp/mysite/folder1
/home/ftp/mysite/folder2
/home/ftp/mysite/folder3

więc chcesz utworzyć plik tar, który zawiera wszystko w / home / ftp / mysite (aby przenieść stronę na nowy serwer), ale file3jest tylko śmieciami, a wszystko w nim folder3również nie jest potrzebne, więc pomińmy te dwa.

używamy formatu

tar -czvf <name of tar file> <what to tar> <any excludes>

gdzie c = utwórz, z = zip, a v = pełne (możesz zobaczyć pliki w miarę ich wprowadzania, przydatne, aby upewnić się, że żaden z wykluczanych plików nie zostanie dodany). i f = plik.

więc moje polecenie wyglądałoby tak

cd /home/ftp/
tar -czvf mysite.tar.gz mysite --exclude='file3' --exclude='folder3'

zwróć uwagę, że wykluczone pliki / foldery odnoszą się do katalogu głównego twojej tar (próbowałem tutaj pełnej ścieżki w stosunku do /, ale nie mogę tego zrobić).

mam nadzieję, że to komuś pomoże (i mnie następnym razem google go)

Możesz użyć standardowej „notacji mrówek”, aby wykluczyć względne katalogi.
Działa to dla mnie i wyklucza wszystkie katalogi .git lub node_module:

tar -cvf myFile.tar --exclude=**/.git/* --exclude=**/node_modules/*  -T /data/txt/myInputFile.txt 2> /data/txt/myTarLogFile.txt

myInputFile.txt zawiera:

/ dev2 / java
/ dev2 / javascript

Doświadczyłem tego, przynajmniej z wersją tar Cygwin, której używam („CYGWIN_NT-5.1 1.7.17 (0.262 / 5/3) 2012-10-19 14:39 i686 Cygwin” w systemie Windows XP Home Edition SP3), kolejność opcji jest ważna.

Podczas gdy ta konstrukcja działała dla mnie:

tar cfvz target.tgz --exclude='<dir1>' --exclude='<dir2>' target_dir

ten nie działał:

tar cfvz --exclude='<dir1>' --exclude='<dir2>' target.tgz target_dir

To tar --helpujawnia, co następuje:

tar [OPTION...] [FILE]

Drugie polecenie powinno również działać, ale najwyraźniej tak nie jest ...

Najlepsze rgds,

Wykluczenie wzorca obsługuje przyrostek nazw plików, takich jak png lub mp3, a także nazwy katalogów, takie jak .git i moduły_węzła

tar --exclude={*.png,*.mp3,*.wav,.git,node_modules} -Jcf ${target_tarball}  ${source_dirname}

Dla tych, którzy mają z tym problemy, niektóre wersje tar działałyby poprawnie tylko bez „./” w wartości wykluczenia.

Tar --version

tar (GNU tar) 1.27.1

Składnia polecenia, która działa:

tar -czvf ../allfiles-butsome.tar.gz * --exclude=acme/foo

Te nie będą działać:

$ tar -czvf ../allfiles-butsome.tar.gz * --exclude=./acme/foo
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude='./acme/foo'
$ tar --exclude=./acme/foo -czvf ../allfiles-butsome.tar.gz *
$ tar --exclude='./acme/foo' -czvf ../allfiles-butsome.tar.gz *
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude=/full/path/acme/foo
$ tar -czvf ../allfiles-butsome.tar.gz * --exclude='/full/path/acme/foo'
$ tar --exclude=/full/path/acme/foo -czvf ../allfiles-butsome.tar.gz *
$ tar --exclude='/full/path/acme/foo' -czvf ../allfiles-butsome.tar.gz *

Znalazłem to gdzieś indziej, więc nie wezmę uznania, ale działało to lepiej niż którekolwiek z powyższych rozwiązań specyficznych dla mojego komputera Mac (nawet jeśli jest zamknięte):

tar zc --exclude __MACOSX --exclude .DS_Store -f <archive> <source(s)>

W przypadku Mac OSX musiałem to zrobić

tar -zcv --exclude='folder' -f theOutputTarFile.tar folderToTar

Uwaga -fpo--exclude=

Zgadzam się, że flaga --exclude jest właściwym podejściem.

$ tar --exclude='./folder_or_file' --exclude='file_pattern' --exclude='fileA'

Słowo ostrzeżenia dla efektu ubocznego, którego nie znalazłem od razu oczywiste: Wykluczenie „fileA” w tym przykładzie spowoduje wyszukanie „fileA” POWRÓT!

Przykład: katalog z pojedynczym podkatalogiem zawierający plik o tej samej nazwie (data.txt)

data.txt
config.txt
--+dirA
  |  data.txt
  |  config.docx

• Jeśli korzystanie --exclude='data.txt'z archiwum nie będzie zawierało pliku EITHER data.txt. Może to powodować nieoczekiwane wyniki podczas archiwizowania bibliotek stron trzecich, takich jak katalog node_modules.

• Aby uniknąć tego problemu, podaj całą ścieżkę, np --exclude='./dirA/data.txt'

Aby uniknąć możliwych 'xargs: Argument list too long'błędów spowodowanych użyciem find ... | xargs ...podczas przetwarzania dziesiątek tysięcy plików, możesz findbezpośrednio przesyłać dane wyjściowe do tarużycia find ... -print0 | tar --null ....

# archive a given directory, but exclude various files & directories 
# specified by their full file paths
find "$(pwd -P)" -type d \( -path '/path/to/dir1' -or -path '/path/to/dir2' \) -prune \
   -or -not \( -path '/path/to/file1' -or -path '/path/to/file2' \) -print0 | 
   gnutar --null --no-recursion -czf archive.tar.gz --files-from -
   #bsdtar --null -n -czf archive.tar.gz -T -

Po przeczytaniu tego wątku zrobiłem małe testy na RHEL 5 i oto moje wyniki dla tarowania katalogu abc:

Wyklucza to błąd katalogów i dzienników oraz wszystkich plików w katalogach:

tar cvpzf abc.tgz abc/ --exclude='abc/error' --exclude='abc/logs'

Dodanie symbolu wieloznacznego po wykluczonym katalogu spowoduje wykluczenie plików, ale zachowanie katalogów:

tar cvpzf abc.tgz abc/ --exclude='abc/error/*' --exclude='abc/logs/*'

Użyj polecenia find w połączeniu z opcją tar append (-r). W ten sposób możesz dodawać pliki do istniejącej tar w jednym kroku, zamiast rozwiązania dwuprzebiegowego (utwórz listę plików, utwórz tar).

find /dir/dir -prune ... -o etc etc.... -exec tar rvf ~/tarfile.tar {} \;

Możesz także użyć jednej z opcji „--exclude-tag” w zależności od potrzeb:

• --exclude-tag = PLIK
• --exclude-tag-all = PLIK
• --exclude-tag-under = PLIK

Folder obsługujący określony PLIK zostanie wykluczony.

Po przeczytaniu wszystkich tych dobrych odpowiedzi dla różnych wersji i rozwiązaniu problemu dla siebie, myślę, że są bardzo małe szczegóły, które są bardzo ważne i rzadkie dla ogólnego użytku GNU / Linux , które nie są wystarczająco zestresowane i zasługują na więcej niż komentarze.

Więc nie zamierzam odpowiadać na pytanie dla każdej sprawy, ale zamiast tego postaram się zarejestrować, gdzie szukać gdy coś nie działa.

BARDZO WAŻNE jest, aby POWIADOMIĆ:

1. ZAMÓWIENIE OPCJI MAJĄ: to nie to samo, że wstaw opcję --exclude wcześniej niż po opcji pliku i katalogach do utworzenia kopii zapasowej. Jest to dla mnie nieoczekiwane, ponieważ z mojego doświadczenia wynika, że ​​w poleceniach GNU / Linux zwykle kolejność opcji nie ma znaczenia.
2. Różne wersje tar oczekują tych opcji w różnej kolejności: na przykład odpowiedź @ Andrew wskazuje, że w GNU tar v 1.26 i 1.28 wykluczenia są ostatnie, podczas gdy w moim przypadku, z GNU tar 1.29, jest na odwrót.
3. CIĘŻAROWE CIĘCIA SIĘ LICZĄ : przynajmniej w GNU tar 1.29 nie powinno być żadnych .

W moim przypadku dla GNU tar 1.29 na odcinku Debian działało polecenie

tar --exclude="/home/user/.config/chromium" --exclude="/home/user/.cache" -cf file.tar  /dir1/ /home/ /dir3/

Cytaty nie miały znaczenia, działały z nimi lub bez nich.

Mam nadzieję, że to komuś się przyda.

Możesz użyć cpio (1), aby utworzyć pliki tar. cpio zabiera pliki do archiwizacji na standardowym interfejsie, więc jeśli już zorientowałeś się w komendzie find, której chcesz użyć do wybrania plików archiwum, potokuj go do cpio, aby utworzyć plik tar:

find ... | cpio -o -H ustar | gzip -c > archive.tar.gz

gnu tar v 1.26 argument --exclude musi występować po argumentach pliku archiwum i katalogu kopii zapasowej, nie powinien zawierać początkowych ani końcowych ukośników i nie preferuje cudzysłowów (pojedynczych lub podwójnych). W stosunku do katalogu PARENT, którego kopię zapasową chcesz utworzyć, jest to:

tar cvfz /path_to/mytar.tgz ./dir_to_backup --exclude=some_path/to_exclude

tar -cvzf destination_folder source_folder -X /home/folder/excludes.txt

-X oznacza plik zawierający listę nazw plików, które należy wykluczyć z kopii zapasowej. Na przykład możesz podać * ~ w tym pliku, aby nie uwzględniać w kopii zapasowej żadnych nazw plików kończących się na ~.

Najlepiej jest użyć find z tar, za pomocą xargs (do obsługi dużej liczby argumentów). Na przykład:

find / -print0 | xargs -0 tar cjf tarfile.tar.bz2

Możliwa redundantna odpowiedź, ale ponieważ uznałem ją za przydatną, oto ona:

Będąc rootem FreeBSD (tj. Używając csh), chciałem skopiować cały główny system plików do / mnt, ale bez / usr i (oczywiście) / mnt. Oto, co zadziałało (jestem w /):

tar --exclude ./usr --exclude ./mnt --create --file - . (cd /mnt && tar xvd -)

Chodzi mi o to, że konieczne było (poprzez wstawienie ./ ), aby sprecyzować, że wykluczone katalogi będą kopiowane.

Moje 0,02 €

Nie miałem szczęścia, że ​​tar wyłączyłby podkatalog 5 gigabajtów na kilka poziomów głębokości. W końcu właśnie użyłem uniksowego polecenia Zip. Dla mnie to działało o wiele łatwiej.

Więc dla tego konkretnego przykładu z oryginalnego postu
(tar --exclude = '. / Folder' --exclude = '. / Upload / folder2' -zcvf /backup/filename.tgz.)

Odpowiednikiem byłoby:

zip -r /backup/filename.zip. -x upload / folder / ** \ * upload / folder2 / ** \ *

(UWAGA: Oto post, którego pierwotnie użyłem, który pomógł mi /superuser/312301/unix-zip-directory-but-excluded-specific-subdirectories-and-everything-within-t )

Sprawdź to

tar cvpzf zip_folder.tgz . --exclude=./public --exclude=./tmp --exclude=./log --exclude=fileName

Chcę mieć świeżą wersję frontonu (folder kątowy) na localhost. Ponadto folder git jest w moim przypadku ogromny i chcę go wykluczyć. Muszę pobrać go z serwera i rozpakować, aby uruchomić aplikację.

Skompresuj folder kątowy z / var / lib / tomcat7 / webapps, przenieś go do folderu / tmp o nazwie angular.23.12.19.tar.gz

Komenda :

tar --exclude='.git' -zcvf /tmp/angular.23.12.19.tar.gz /var/lib/tomcat7/webapps/angular/

Sukces: 1) jeśli podając pełną ścieżkę do wykonania kopii zapasowej, należy wykluczyć również pełną ścieżkę.

tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz --exclude = '/ opt / ABC / csv / ' --exclude = '/ opt / ABC / log / ' / opt / ABC

2) jeśli podając bieżącą ścieżkę do wykonania kopii zapasowej, w wykluczeniu należy również użyć tylko bieżącej ścieżki.

tar -zcvf backup_27032020.tar.gz --exclude = 'ABC / csv / ' --exclude = 'ABC / log / ' ABC

Przypadek awarii:

1. jeśli podając katalog currentpath do wykonania kopii zapasowej i pełną ścieżkę do zignorowania, to nie będzie działać

   tar -zcvf /opt/ABC/BKP_27032020/backup_27032020.tar.gz --exclude = '/ opt / ABC / csv / ' --exclude = '/ opt / ABC / log / ' ABC

Uwaga: wspomnienie wykluczenia przed / po katalogu kopii zapasowej jest w porządku.

Jeśli próbujesz wykluczyć pliki Systemu kontroli wersji (VCS), tar obsługuje już dwie interesujące opcje! :)

1. Opcja: --exclude-vcs

Wyklucza to opcja plików i katalogów wykorzystywane przez następujące systemy kontroli wersji: CVS, RCS, SCCS, SVN, Arch, Bazaar, Mercurial, iDarcs .

Począwszy od wersji 1.32, następujące pliki są wykluczone:

• CVS/i wszystko pod tym
• RCS/i wszystko pod tym
• SCCS/i wszystko pod tym
• .git/i wszystko pod tym
• .gitignore
• .gitmodules
• .gitattributes
• .cvsignore
• .svn/i wszystko pod tym
• .arch-ids/i wszystko pod tym
• {arch}/i wszystko pod tym
• =RELEASE-ID
• =meta-update
• =update
• .bzr
• .bzrignore
• .bzrtags
• .hg
• .hgignore
• .hgrags

• _darcs

  2. Opcja: --exclude-vcs-ignoruje

Podczas archiwizacji katalogi, które są pod jakimś systemem kontroli wersji (VCS), często jest to wygodne, aby czytać wzorce wykluczeń z tego VCS”ignorować pliki (np .cvsignore, .gitignoreitp) Ta opcja zapewnić taką możliwość.

Przed archiwizacji katalogu, czy zawiera jeden z następujących plików: cvsignore, .gitignore, .bzrignore, lub .hgignore. Jeśli tak, przeczytaj ignoruj ​​wzorce z tych plików.

Wzorce są traktowane tak samo, jak odpowiadałby im odpowiedni VCS, tj .:

.cvsignore

Zawiera wzorce globowania w stylu powłoki, które dotyczą tylko katalogu, w którym znajduje się ten plik. Plik nie zawiera komentarzy. Puste linie są ignorowane.

.gitignore

Zawiera wzory globowania w stylu muszli. Dotyczy katalogu, w którym się .gitfileznajduje i wszystkich jego podkatalogów.

Każda linia rozpoczynająca się od a #jest komentarzem. Ukośnik odwraca znak komentarza.

.bzrignore

Zawiera wzorce globowania powłoki i wyrażenia regularne (jeśli są poprzedzone przez RE:(16). Wzory wpływają na katalog i wszystkie jego podkatalogi.

Każda linia rozpoczynająca się od a #jest komentarzem.

.hgignore

Zawiera posixowe wyrażenia regularne (17). Linia syntax: globprzełącza się na wzorce globowania powłoki. Linia syntax: regexpprzełącza się z powrotem. Komentarze zaczynają się od #. Wzorce wpływają na katalog i wszystkie jego podkatalogi.

3. Przykład

tar -czv --exclude-vcs --exclude-vcs-ignores -f path/to/my-tar-file.tar.gz path/to/my/project/

Poniższy skrypt bash powinien załatwić sprawę. Wykorzystuje odpowiedź podaną tutaj przez Marcusa Sundmana.

#!/bin/bash

echo -n "Please enter the name of the tar file you wish to create with out extension "
read nam

echo -n "Please enter the path to the directories to tar "
read pathin

echo tar -czvf $nam.tar.gz
excludes=`find $pathin -iname "*.CC" -exec echo "--exclude \'{}\'" \;|xargs`
echo $pathin

echo tar -czvf $nam.tar.gz $excludes $pathin

Spowoduje to wydrukowanie potrzebnego polecenia i możesz go po prostu skopiować i wkleić z powrotem. Prawdopodobnie istnieje bardziej elegancki sposób na dostarczenie go bezpośrednio do wiersza poleceń.

Wystarczy zmienić * .CC dla dowolnego innego wspólnego rozszerzenia, nazwy pliku lub wyrażenia regularnego, które chcesz wykluczyć, a to powinno nadal działać.

EDYTOWAĆ

Wystarczy dodać małe wyjaśnienie; find generuje listę plików pasujących do wybranego wyrażenia regularnego (w tym przypadku * .CC). Ta lista jest przekazywana przez polecenie xargs do polecenia echo. Zostanie wydrukowane - wyklucz „jeden wpis z listy”. Ukośniki () to znaki specjalne dla znaków „.