Jak mogę uzyskać rozmiar wiadra Amazon S3?

Chciałbym wykreślić wykres wielkości (w bajtach i # elementów) segmentu Amazon S3 i szukam wydajnego sposobu na uzyskanie danych.

W s3cmd narzędzia zapewniają sposób, aby uzyskać całkowity rozmiar plików przy użyciu s3cmd du s3://bucket_name, ale martwię się o jego zdolność do skalowania, ponieważ wygląda na to, że pobiera dane o każdym pliku i oblicza własną sumę. Ponieważ Amazon pobiera opłaty od użytkowników w GB-miesięcznie, wydaje się dziwne, że nie ujawniają tej wartości bezpośrednio.

Chociaż interfejs API REST firmy Amazon zwraca liczbę elementów w segmencie, s3cmd nie wydaje się go ujawniać. Mógłbym to zrobić, s3cmd ls -r s3://bucket_name | wc -lale to wygląda na włamanie.

Biblioteka Ruby AWS :: S3 wyglądała obiecująco, ale zapewnia tylko liczbę elementów segmentu, a nie całkowity rozmiar segmentu.

Czy ktoś wie o innych narzędziach lub bibliotekach wiersza poleceń (preferuje Perl, PHP, Python lub Ruby), które zapewniają sposoby uzyskiwania tych danych?

Interfejs AWS CLI obsługuje teraz --queryparametr, który przyjmuje wyrażenia JMESPath .

Oznacza to, że możesz zsumować wartości wielkości podane za list-objectspomocą sum(Contents[].Size)i policzyć jak length(Contents[]).

Można to uruchomić przy użyciu oficjalnego interfejsu AWS CLI, jak pokazano poniżej, i wprowadzono go w lutym 2014 r

 aws s3api list-objects --bucket BUCKETNAME --output json --query "[sum(Contents[].Size), length(Contents[])]"

Można to teraz zrobić w trywialny sposób za pomocą tylko oficjalnego klienta wiersza poleceń AWS:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/

Oficjalna dokumentacja

To akceptuje również prefiksy ścieżek, jeśli nie chcesz liczyć całego segmentu:

aws s3 ls --summarize --human-readable --recursive s3://bucket-name/directory

Konsola AWS:

Od 28 lipca 2015 r. Możesz uzyskać te informacje za pośrednictwem CloudWatch . Jeśli chcesz mieć GUI, przejdź do konsoli CloudWatch : (Wybierz Region>) Metryki> S3

Polecenie AWS CLI:

Jest to o wiele szybsze niż niektóre inne polecenia zamieszczone tutaj, ponieważ nie sprawdza wielkości każdego pliku indywidualnie w celu obliczenia sumy.

 aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time 2015-07-15T10:00:00 --end-time 2015-07-31T01:00:00 --period 86400 --statistics Average --region eu-west-1 --metric-name BucketSizeBytes --dimensions Name=BucketName,Value=toukakoukan.com Name=StorageType,Value=StandardStorage

Ważne : Musisz podać zarówno StorageType, jak i BucketName w argumencie Dimensions, w przeciwnym razie nie otrzymasz żadnych wyników. Wszystko, czego potrzebujesz, aby zmienić to --start-date, --end-timei Value=toukakoukan.com.

Oto skrypt bash można użyć, aby uniknąć konieczności określania --start-datei --end-timeręcznie.

#!/bin/bash
bucket=$1
region=$2
now=$(date +%s)
aws cloudwatch get-metric-statistics --namespace AWS/S3 --start-time "$(echo "$now - 86400" | bc)" --end-time "$now" --period 86400 --statistics Average --region $region --metric-name BucketSizeBytes --dimensions Name=BucketName,Value="$bucket" Name=StorageType,Value=StandardStorage

s3cmd może to zrobić:

s3cmd du s3://bucket-name

Jeśli pobierzesz raport użytkowania , możesz sporządzić wykres wartości dziennych dla TimedStorage-ByteHrspola.

Jeśli chcesz tę liczbę w GiB, po prostu podziel przez 1024 * 1024 * 1024 * 24(to GiB-godziny dla cyklu 24-godzinnego). Jeśli chcesz liczbę w bajtach, po prostu podziel przez 24 i odsuń.

Korzystanie z oficjalnych narzędzi wiersza polecenia AWS s3:

aws s3 ls s3://bucket/folder --recursive | awk 'BEGIN {total=0}{total+=$3}END{print total/1024/1024" MB"}'

To jest lepsze poleceń, wystarczy dodać następujące 3 parametry --summarize --human-readable --recursivepo aws s3 ls. --summarizenie jest wymagane, ale daje miły akcent w całkowitym rozmiarze.

aws s3 ls s3://bucket/folder --summarize --human-readable --recursive

s4cmd to najszybszy sposób, jaki znalazłem (narzędzie wiersza polecenia napisane w Pythonie):

pip install s4cmd

Teraz obliczyć cały rozmiar wiadra przy użyciu wielu wątków:

s4cmd du -r s3://bucket-name

Użyłem interfejsu API REST / Curl S3 wymienionego wcześniej w tym wątku i zrobiłem to:

<?php
if (!class_exists('S3')) require_once 'S3.php';

// Instantiate the class
$s3 = new S3('accessKeyId', 'secretAccessKey');
S3::$useSSL = false;

// List your buckets:
echo "S3::listBuckets(): ";
echo '<pre>' . print_r($s3->listBuckets(), 1). '</pre>';

$totalSize = 0;
$objects = $s3->getBucket('name-of-your-bucket');
foreach ($objects as $name => $val) {
    // If you want to get the size of a particular directory, you can do
    // only that.
    // if (strpos($name, 'directory/sub-directory') !== false)
    $totalSize += $val['size'];
}

echo ($totalSize / 1024 / 1024 / 1024) . ' GB';
?>

Możesz użyć narzędzia s3cmd, np .:

s3cmd du -H s3://Mybucket
97G      s3://Mybucket/

Przeszukując interfejs API i odtwarzając te same zapytania, S3 utworzy całą zawartość segmentu w jednym żądaniu i nie musi schodzić do katalogów. Wyniki wymagają jedynie zsumowania różnych elementów XML, a nie powtarzanych wywołań. Nie mam próbnego wiadra, które zawiera tysiące przedmiotów, więc nie wiem, jak dobrze będzie skalować, ale wydaje się dość proste.

... Trochę za późno, ale najlepszym sposobem, jaki znalazłem, jest skorzystanie z raportów w portalu AWS. Zrobiłem klasę PHP do pobierania i analizowania raportów. Dzięki niemu możesz uzyskać całkowitą liczbę obiektów dla każdego segmentu, całkowity rozmiar w GB lub bajt godz. I więcej.

Sprawdź to i daj mi znać, czy było to pomocne

AmazonTools

Polecam korzystanie z raportu użytkowania S3 w przypadku dużych segmentów , zobacz moje instrukcje na temat tego, jak go uzyskać. Zasadniczo musisz pobrać raport użytkowania usługi S3 dla ostatniego dnia z Timed Storage - Bajt godz. I przeanalizować, aby uzyskać użycie dysku.

cat report.csv | awk -F, '{printf "%.2f GB %s %s \n", $7/(1024**3 )/24, $4, $2}' | sort -n

Dokumentacja AWS mówi, jak to zrobić:

aws s3 ls s3://bucketnanme --recursive --human-readable --summarize

To jest wynik, który otrzymujesz:

2016-05-17 00:28:14    0 Bytes folder/
2016-05-17 00:30:57    4.7 KiB folder/file.jpg
2016-05-17 00:31:00  108.9 KiB folder/file.png
2016-05-17 00:31:03   43.2 KiB folder/file.jpg
2016-05-17 00:31:08  158.6 KiB folder/file.jpg
2016-05-17 00:31:12   70.6 KiB folder/file.png
2016-05-17 00:43:50   64.1 KiB folder/folder/folder/folder/file.jpg

Total Objects: 7

   Total Size: 450.1 KiB

Dla naprawdę niskiego poziomu technologii: użyj klienta S3, który może obliczyć rozmiar dla Ciebie. Używam Panic's Transmit, kliknij wiadro, zrób „Uzyskaj informacje” i kliknij przycisk „Oblicz”. Nie jestem pewien, jak szybki lub dokładny jest w stosunku do innych metod, ale wydaje się, że oddaje rozmiar, którego się spodziewałem.

Ponieważ jest tak wiele odpowiedzi, pomyślałem, że wrócę z własnymi. Swoją implementację napisałem w języku C # przy użyciu LINQPad. Skopiuj, wklej i wprowadź klucz dostępu, klucz tajny, punkt końcowy regionu i nazwę segmentu, do którego chcesz wysłać zapytanie. Pamiętaj też, aby dodać pakiet nuget AWSSDK.

Testowałem na jednym z moich wiader, co dało mi liczbę 128075 i rozmiar 70,6 GB. Wiem, że jest to 99,9999% dokładności, więc jestem dobry z wynikiem.

void Main() {
    var s3Client = new AmazonS3Client("accessKey", "secretKey", RegionEndpoint.???);
    var stop = false;
    var objectsCount = 0;
    var objectsSize = 0L;
    var nextMarker = string.Empty;

    while (!stop) {
        var response = s3Client.ListObjects(new ListObjectsRequest {
            BucketName = "",
            Marker = nextMarker
        });

        objectsCount += response.S3Objects.Count;
        objectsSize += response.S3Objects.Sum(
            o =>
                o.Size);
        nextMarker = response.NextMarker;
        stop = response.S3Objects.Count < 1000;
    }

    new {
        Count = objectsCount,
        Size = objectsSize.BytesToString()
    }.Dump();
}

static class Int64Extensions {
    public static string BytesToString(
        this long byteCount) {
        if (byteCount == 0) {
            return "0B";
        }

        var suffix = new string[] { "B", "KB", "MB", "GB", "TB", "PB", "EB" };
        var longBytes = Math.Abs(byteCount);
        var place = Convert.ToInt32(Math.Floor(Math.Log(longBytes, 1024)));
        var number = Math.Round(longBytes / Math.Pow(1024, place), 1);

        return string.Format("{0}{1}", Math.Sign(byteCount) * number, suffix[place]);
    }
}

Jeśli chcesz uzyskać rozmiar z konsoli AWS:

1. Przejdź do S3 i kliknij nazwę wiadra
2. Wybierz zakładkę „Zarządzanie”

3. Wybierz kartę Metryki

Domyślnie powinna zostać wyświetlona Metryka przechowywania wiadra

Wiem, że to starsze pytanie, ale oto przykład PowerShell:

Get-S3Object -BucketName <buckename> | select key, size | foreach {$A += $_.size}

$A zawiera rozmiar segmentu i istnieje parametr keyname, jeśli chcesz tylko rozmiar określonego folderu w segmencie.

Aby sprawdzić rozmiar wszystkich segmentów, wypróbuj ten skrypt bash

s3list=`aws s3 ls | awk  '{print $3}'`
for s3dir in $s3list
do
    echo $s3dir
    aws s3 ls "s3://$s3dir"  --recursive --human-readable --summarize | grep "Total Size"
done

Możesz użyć s3cmd:

s3cmd du s3://Mybucket -H

lub

s3cmd du s3://Mybucket --human-readable

Daje całkowitą liczbę obiektów i rozmiar wiadra w bardzo czytelnej formie.

Hej, istnieje narzędzie wyszukiwania metdanych dla AWS S3 na https://s3search.p3-labs.com/. To narzędzie podaje statystyki dotyczące obiektów w wiadrze z wyszukiwaniem metadanych.

Robi to również Hanzo S3 Tools . Po zainstalowaniu możesz:

s3ls -s -H bucketname

Ale wierzę, że jest to również sumowane po stronie klienta i nie jest pobierane przez API AWS.

W programie Cloudberry można również wymienić rozmiar segmentu, liczbę folderów i całkowitą liczbę plików, klikając „właściwości” tuż nad segmentem.

Jeśli nie chcesz używać wiersza polecenia, w systemach Windows i OSX, istnieje aplikacja do zdalnego zarządzania plikami ogólnego przeznaczenia o nazwie Cyberduck . Zaloguj się do S3 za pomocą pary klucz dostępu / klucz tajny, kliknij katalog prawym przyciskiem myszy, kliknij Calculate.

Napisałem skrypt Bash, s3-du.sh, który wyświetli listę plików w wiadrze z s3ls oraz wyświetli liczbę plików i rozmiary, takie jak

s3-du.sh testbucket.jonzobrist.com
149 files in bucket testbucket.jonzobrist.com
11760850920 B
11485205 KB
11216 MB
10 GB

Pełny skrypt:

#!/bin/bash

if [ “${1}” ]
then
NUM=0
COUNT=0
for N in `s3ls ${1} | awk ‘{print $11}’ | grep [0-9]`
do
NUM=`expr $NUM + $N`
((COUNT++))
done
KB=`expr ${NUM} / 1024`
MB=`expr ${NUM} / 1048576`
GB=`expr ${NUM} / 1073741824`
echo “${COUNT} files in bucket ${1}”
echo “${NUM} B”
echo “${KB} KB”
echo “${MB} MB”
echo “${GB} GB”
else
echo “Usage : ${0} s3-bucket”
exit 1
fi    

Robi rozmiar podkatalogu, ponieważ Amazon zwraca nazwę katalogu i rozmiar całej jego zawartości.

CloudWatch ma teraz domyślny pulpit nawigacyjny usługi S3, który wyświetla go na wykresie o nazwie „Średnia wielkość bajtu wielkości”. Myślę, że ten link będzie działał dla każdego, kto jest już zalogowany do konsoli AWS:

Poniższy sposób wykorzystuje AWS PHP SDK, aby uzyskać całkowity rozmiar segmentu.

// make sure that you are using correct region (where the bucket is) to get new Amazon S3 client
$client = \Aws\S3\S3Client::factory(array('region' => $region));

// check if bucket exists
if (!$client->doesBucketExist($bucket, $accept403 = true)) {
    return false;
}
// get bucket objects
$objects = $client->getBucket(array('Bucket' => $bucket));

$total_size_bytes = 0;
$contents = $objects['Contents'];

// iterate through all contents to get total size
foreach ($contents as $key => $value) {
   $total_bytes += $value['Size'];
}
$total_size_gb = $total_size_bytes / 1024 / 1024 / 1024;

To działa dla mnie ..

aws s3 ls s3://bucket/folder/ --recursive | awk '{sz+=$3} END {print sz/1024/1024 "MB"}'