Mam problem ze zrozumieniem mojego dużego rachunku S3 i pomyślałem, że zapytam tutaj, zanim zrzucę 30 USD na miesięczne wsparcie AWS.

Zasadniczo mam instancję Amazon EC2, która tworzy interfejs API do różnych giełd kryptowalut i zapisuje odpowiedzi na instancję HD. Wywołania są wykonywane co 5 minut, obiekty odpowiedzi mają około 100 kb, są odczytywane przez skrypt R i dodawane do pliku CSV co ~ 8 minut. Ten plik CSV jest synchronizowany z segmentem Amazon S3 co około 15 minut.

Pliki CSV mają zwykle około 10 MB, dla około 15 kryptowalut, co 15 minut. Patrząc w segmencie Amazon S3, może zużyć najwyżej 0,5 GB miejsca.

Jednak „TimedStorage-ByteHours” czyta około 4 TB!

Amazon Simple Storage Service TimedStorage-ByteHrs 89,55 USD

0,000 USD za GB - miejsce do magazynowania w ramach miesięcznego bezpłatnego globalnego poziomu 5 GB - 0,00 USD

0,023 USD za GB - wykorzystano pierwsze 50 TB / miesiąc 3 893,399 GB - Mo 89,55 USD

Jakieś pomysły?

Najprawdopodobniej masz włączoną wersję S3 - oznacza to, że stare obiekty po zastąpieniu nowszą wersją nie są usuwane, ale są ukryte w historii. Aby to sprawdzić, przejdź do Wiadro -> Właściwości -> Przechowywanie wersji .

Możesz również przeglądać stare wersje w przeglądarce, tak jak na tym zrzucie ekranu Mam kilka wersji 108c05...jsonpliku:

Jeśli masz włączoną kontrolę wersji, ale nie chcesz, możesz zawiesić kontrolę wersji, ale pamiętaj, że nie spowoduje to usunięcia starych wersji, musisz:

• użyj AWS-CLI i trochę skryptów (zacznij od aws s3api list-object-versions)
• Skonfiguruj zasady cyklu życia wiadra, aby wygasały stare wersje. Odbywa się to poprzez S3 -> segment -> Zarządzanie -> Cykl życia -> Dodaj regułę cyklu życia, a następnie na ekranie Wygaśnięcia wypełnij następujące szczegóły:

Mam nadzieję, że to pomoże :)

Magazyn o rzadkim dostępie ma minimalną opłatę za 30 dni za sztukę

1. Wejdź na https://s3.console.aws.amazon.com i uzyskaj listę plików dla jednego z twoich wiader.
2. Pamiętaj, że każdy plik w segmencie ma klasę pamięci. Wybór klasy przechowywania jest pod twoją kontrolą i wpływa na koszty.

Standardjest najdroższy, więc niektóre osoby korzystają infrequent accessz niższej opłaty miesięcznej (~ 50% rabatu) za GB przechowywanej zgodnie z tabelą cen. ALE, rzadkie ma również opłatę za pobieranie 0,01 USD / GB, więc oszczędza tylko całkowite koszty plików przechowywanych co najmniej jeden miesiąc i pobieranych rzadziej niż raz w miesiącu. W koszyku może również obowiązywać zasada cyklu życia, która zmienia klasę plików z upływem czasu, co może mieć wpływ na rozpoczęcie 30-dniowego minimalnego okresu przechowywania.

Drobnym drukiem infrequent accessma minimalną opłatę 30 dni za każdy przechowywany element.

Źródło: https://aws.amazon.com/s3/pricing/

Pierwszy przypis, oznaczony †

† Pamięć masowa S3 Standard-Infrequent Access i S3 One Zone-Infrequent Access mają minimalną wielkość obiektu podlegającego rozliczeniu wynoszącą 128 KB. Mniejsze obiekty mogą być przechowywane, ale zostaną obciążone za 128 KB pamięci. S3 Standardowy rzadki dostęp i S3 Jedna strefa rzadkiego dostępu do pamięci są naliczane za minimalny czas przechowywania wynoszący 30 dni. Obiekty, które zostaną usunięte, nadpisane lub przeniesione do innej klasy pamięci przed 30 dniami, będą podlegały normalnej opłacie za użytkowanie plus proporcjonalna opłata za żądanie przez pozostałą część minimum 30 dni. Przedmioty przechowywane przez 30 dni lub dłużej nie będą obciążane minimalną opłatą za 30-dniowe żądanie

Kosztowne w Amazon S3, a także Google Cloud Storage, są opłaty sieciowe, jeśli dane są wysyłane do publicznego Internetu zamiast trzymane w chmurze tej firmy. Opłata sieciowa za jednorazowe pobranie może z łatwością przekroczyć opłatę za przechowywanie przez 3-4 miesiące. 0,09 USD / GB (październik 2018 r.) Dla AWS S3 , 0,12 USD / GB dla Google Cloud Storage , najniższy poziom użytkowania.

Digital Ocean ma warstwę pamięci zgodną z S3 o nazwie „Spaces”, którą warto sprawdzić. Zgłoszono niektóre błędy, które mogą być dławione w pewien sposób, ale ogólna cena wygląda interesująco i może być „wystarczająco dobra” dla niektórych zastosowań.