pobierz plik przez http tylko jeśli został zmieniony od ostatniej aktualizacji

Muszę pobrać plik z serwera HTTP, ale tylko jeśli zmienił się od czasu ostatniego pobrania (np. Przez If-Modified-Sincenagłówek). Potrzebuję też użyć niestandardowej nazwy pliku na moim dysku.

Jakiego narzędzia mogę użyć do tego zadania w systemie Linux?

wget -Nnie można użyć, ponieważ -Nnie można go używać z -O.

Rozważ użycie curlzamiast wget:

curl -o "$file" -z "$file" "$uri"

man curl mówi:

-z/ --time-cond <wyrażenie daty>

(HTTP / FTP) Poproś o plik, który został zmodyfikowany później niż podana godzina i data, lub plik, który został zmodyfikowany przed tym czasem. Wyrażenie daty może być wszelkiego rodzaju ciągami dat lub jeśli nie pasuje do żadnych wewnętrznych, próbuje zamiast tego uzyskać czas z podanej nazwy pliku.

Jeśli $fileniekoniecznie musi istnieć wcześniej, musisz uzależnić użycie -zflagi, używając test -e "$file":

if test -e "$file"
then zflag="-z '$file'"
else zflag=
fi
curl -o "$file" $zflag "$uri"

(Pamiętaj, że nie cytujemy $zflagtutaj rozszerzenia , ponieważ chcemy, aby zostało podzielone na 0 lub 2 tokeny).

Jeśli twoja powłoka obsługuje tablice (np. Bash), mamy bezpieczniejszą i czystszą wersję:

if test -e "$file"
then zflag=(-z "$file")
else zflag=()
fi
curl -o "$file" "${zflag[@]}" "$uri"

Przełącznik wget -Npobiera plik tylko wtedy, gdy został zmieniony, więc możliwe byłoby użycie prostego -Nprzełącznika, który pobierze plik, jeśli będzie to konieczne, ale pozostawi go z niewłaściwą nazwą. Następnie utwórz twardy link za pomocą ln -Ppolecenia, aby połączyć go z „plikiem” o poprawnej nazwie. Połączony plik ma te same metadane co oryginał.

Jedynym ograniczeniem jest to, że nie można mieć twardych łączy między granicami systemu plików.

Skrypt Python 3.5+ do zawijania polecenia curl:

import argparse
import pathlib

from subprocess import run
from itertools import chain

parser = argparse.ArgumentParser()
parser.add_argument('url')
parser.add_argument('filename', type=pathlib.Path)
args = parser.parse_args()

run(chain(
    ('curl', '-s', args.url),
    ('-o', str(args.filename)),
    ('-z', str(args.filename)) if args.filename.exists() else (),
))

Podobne podejście do „ sprawdzania daty ” (z „curl - time-cond”) polegałoby na pobraniu zgodnie z porównaniem wielkości pliku, tj. Pobraniu tylko wtedy, gdy plik lokalny ma inny rozmiar niż plik zdalny .

Jest to przydatne na przykład, gdy proces pobierania nie powiódł się w środku , a zatem lokalny pobrany plik otrzymuje nowszą datę niż plik zdalny, ale w rzeczywistości jest uszkodzony i konieczne jest ponowne pobranie:

local_file_size=$([[ -f ${FILE_NAME} ]] && wc -c < ${FILE_NAME} || echo "0")
remote_file_size=$(curl -sI ${FILE_URL} | awk '/Content-Length/ { print $2 }' | tr -d '\r' )

if [[ "$local_file_size" -ne "$remote_file_size" ]]; then
    curl -o ${FILE_NAME} ${FILE_URL}
fi

Opcja „curl -z / --time-cond” (która została zasugerowana w innej odpowiedzi) nie spowoduje pobrania pliku zdalnego w tym przypadku (ponieważ plik lokalny ma nowszą datę), ale ten skrypt „ sprawdzania rozmiaru ” to zrobi!