Muszę ustawić nagłówki kontroli pamięci podręcznej dla całego segmentu s3, zarówno istniejących, jak i przyszłych plików i miałem nadzieję, że zrobię to w ramach zasad zasobnika. Wiem, że mogę edytować istniejące i wiem, jak je określić, jeśli sam je prześlę, ale niestety aplikacja, która je przesyła, nie może ustawić nagłówków, ponieważ używa s3fs do kopiowania tam plików.
Odpowiedzi:
Teraz można to zrobić na 3 sposoby: za pośrednictwem konsoli AWS , wiersza poleceń lub narzędzia wiersza poleceń s3cmd .
To jest teraz zalecane rozwiązanie. Jest to proste, ale może zająć trochę czasu.
( dzięki @biplob - poniżej okaż mu trochę miłości )
Pierwotnie, kiedy tworzyłem te zasady dotyczące wiadra, nie było wyjścia, więc pomyślałem, jak to zrobić za pomocą aws-cli i jest całkiem sprytny. Podczas badań nie mogłem znaleźć żadnych przykładów na wolności, więc pomyślałem, że opublikuję kilka moich rozwiązań, aby pomóc potrzebującym.
UWAGA: Domyślnie aws-cli kopiuje tylko bieżące metadane pliku, NAWET JEŚLI OKREŚLISZ NOWE METADANE.
Aby użyć metadanych określonych w wierszu poleceń, należy dodać flagę „--metadata-Directive REPLACE”. Oto kilka przykładów.
Dla jednego pliku
aws s3 cp s3://mybucket/file.txt s3://mybucket/file.txt --metadata-directive REPLACE \
--expires 2034-01-01T00:00:00Z --acl public-read --cache-control max-age=2592000,public
Dla całego zasobnika (uwaga - flaga rekurencyjna):
aws s3 cp s3://mybucket/ s3://mybucket/ --recursive --metadata-directive REPLACE \
--expires 2034-01-01T00:00:00Z --acl public-read --cache-control max-age=2592000,public
Trochę gotcha, które znalazłem, jeśli chcesz zastosować go tylko do określonego typu pliku, musisz wykluczyć wszystkie pliki, a następnie dołączyć te, które chcesz.
Tylko jpg i png:
aws s3 cp s3://mybucket/ s3://mybucket/ --exclude "*" --include "*.jpg" --include "*.png" \
--recursive --metadata-directive REPLACE --expires 2034-01-01T00:00:00Z --acl public-read \
--cache-control max-age=2592000,public
Oto kilka linków do instrukcji, jeśli potrzebujesz więcej informacji:
Znane problemy:
"Unknown options: --metadata-directive, REPLACE"
może to być spowodowane nieaktualnym awscli - zobacz odpowiedź @ eliotRosewater poniżej
S3cmd to „narzędzie wiersza poleceń do zarządzania usługami Amazon S3 i CloudFront”. Chociaż to rozwiązanie wymaga git pull, może być prostszym i bardziej wszechstronnym rozwiązaniem.
Aby uzyskać pełne instrukcje, zobacz post @ ashishyadaveee11 poniżej
Mam nadzieję, że to pomoże!
cppobieranie i ponowne przesyłanie wszystkiego?
Teraz można go łatwo zmienić z konsoli AWS.
Wykonanie zajmuje trochę czasu, w zależności od plików zasobnika. Ponów od początku, jeśli przypadkowo zamkniesz przeglądarkę.
kroki
git clone https://github.com/s3tools/s3cmds3cmd --configure
(zostaniesz poproszony o dwa klucze - skopiuj i wklej je z wiadomości e-mail z potwierdzeniem lub ze strony konta Amazon. Zachowaj ostrożność podczas ich kopiowania! Wielkość liter jest rozróżniana i musi być wprowadzona dokładnie, w przeciwnym razie będziesz otrzymywać błędy dotyczące nieprawidłowego podpisy itp. Pamiętaj, aby dodać s3:ListAllMyBucketsuprawnienia do kluczy, w przeciwnym razie AccessDeniedpodczas testowania dostępu wystąpi błąd)../s3cmd --recursive modify --add-header="Cache-Control:public ,max-age= 31536000" s3://your_bucket_name/Gdyby moja reputacja wynosiła> 50, skomentowałbym tylko. Ale to nie jest (jeszcze), więc oto kolejna pełna odpowiedź.
Od jakiegoś czasu walę głową w ten problem. Dopóki nie znalazłem i nie przeczytałem dokumentacji. Udostępnianie tego tutaj na wypadek, gdyby pomogło to komukolwiek innemu:
To polecenie okazało się dla mnie niezawodne. Wybrałem 1-sekundowy czas wygaśnięcia na testowanie w celu zweryfikowania oczekiwanych wyników:
aws s3 cp \
--metadata-directive REPLACE \
--cache-control max-age=1,s-maxage=1 \
s3://bucket/path/file \
s3://bucket/path/file
--metadata-directive REPLACEjest wymagany, " cp" modyfikując metadane w istniejącym pliku w S3max-age ustawia wiek pamięci podręcznej przeglądarki w sekundachs-maxage ustawia buforowanie CloudFront w kilka sekundPodobnie, jeśli ustawisz te wartości nagłówka Cache-Control w pliku podczas przesyłania do S3, polecenie będzie wyglądać następująco:
aws s3 cp \
--cache-control max-age=1,s-maxage=1 \
/local/path/file \
s3://bucket/path/file
Nie sądzę, aby można było to określić na poziomie zasobnika, ale istnieje kilka obejść.
Skopiuj obiekt do siebie na S3, ustawiając odpowiednie cache-controlnagłówki dla operacji kopiowania.
Określ nagłówki odpowiedzi w adresie URL do plików . Aby to zadziałało, musisz użyć wstępnie podpisanych adresów URL, ale możesz określić określone nagłówki odpowiedzi w kwerendzie, w tym cache-controli expires. Pełną listę dostępnych opcji można znaleźć pod adresem : http://docs.amazonwebservices.com/AmazonS3/latest/API/RESTObjectGET.html?r=5225
Zawsze możesz skonfigurować lambdę z wyzwalaczem na PUTOBJECT na S3, lambda po prostu zmieni nagłówek tego konkretnego obiektu, który właśnie został wstawiony.
Następnie możesz po raz ostatni uruchomić wspomniane powyżej polecenie kopiowania, a wszystkie nowe obiekty zostaną naprawione przez lambdę.
Oto dobre miejsce do rozpoczęcia: https://www.aaronfagan.ca/blog/2017/how-to-configure-aws-lambda-to-automatically-set-cache-control-headers-on-s3-objects /
Do tych, którzy próbują użyć odpowiedzi Dana i otrzymują błąd:
„Nieznane opcje: --metadata-dyrektywa, WYMIANA”
Natknąłem się na problem, a problem polegał na tym, że zainstalowałem awscli przy użyciu
sudo apt-get install awscli
To zainstalowało starą wersję awscli, w której brakuje polecenia --metadata-dyrektywy. Więc użyłem sudo apt-get remove awscli, aby go usunąć.
Następnie ponownie zainstalowano zgodnie z procedurą z amazon: http://docs.aws.amazon.com/streams/latest/dev/kinesis-tutorial-cli-installation.html
Jedyną różnicą jest to, że musiałem użyć sudo -H ze względu na problemy z uprawnieniami, na które mogą również napotkać inni.