Powiedzmy, że mam maszynę, na której chcę mieć możliwość zapisu w określonym pliku dziennika przechowywanym w zasobniku S3.

Tak więc maszyna musi mieć możliwości zapisu w tym zasobniku, ale nie chcę, aby miała możliwość nadpisywania lub usuwania jakichkolwiek plików w tym zasobniku (w tym tego, w którym chcę zapisywać).

Zasadniczo chcę, aby mój komputer mógł tylko dołączać dane do tego pliku dziennika, bez nadpisywania go lub pobierania.

Czy istnieje sposób, aby skonfigurować mój S3, aby działał w ten sposób? Może jest jakaś zasada IAM, którą mogę do niej dołączyć, aby działała tak, jak chcę?

Niestety nie możesz.

S3 nie ma operacji „dołączania”. ^* Po przesłaniu obiektu nie ma możliwości modyfikacji go na miejscu; jedyną opcją jest przesłanie nowego obiektu, aby go zastąpić, który nie spełnia Twoich wymagań.

*: Tak, wiem, że ten post ma kilka lat. Jednak nadal jest dokładna.

Jak stwierdza przyjęta odpowiedź, nie możesz. Najlepszym znanym mi rozwiązaniem jest użycie:

AWS Kinesis Firehose

https://aws.amazon.com/kinesis/firehose/

Ich przykładowy kod wygląda na skomplikowany, ale Twój może być naprawdę prosty. Wciąż wykonujesz operacje PUT (lub BATCH PUT) na strumieniu dostarczania Kinesis Firehose w swojej aplikacji (używając AWS SDK) i konfigurujesz strumień dostarczania Kinesis Firehose, aby wysyłać strumieniowane dane do wybranego przez Ciebie wiadra AWS S3 (w Konsola AWS Kinesis Firehose).

Nadal nie jest to tak wygodne, jak >>z wiersza poleceń Linuksa, ponieważ po utworzeniu pliku na S3 ponownie musisz poradzić sobie z pobieraniem, dołączaniem i przesyłaniem nowego pliku, ale musisz to zrobić tylko raz na partię wierszy, a niż dla każdego wiersza danych, więc nie musisz się martwić ogromnymi opłatami ze względu na liczbę operacji dołączania. Może da się to zrobić, ale nie widzę, jak to zrobić z konsoli.

Obiekty na S3 nie mogą być dołączane. W tym przypadku masz 2 rozwiązania:

1. skopiuj wszystkie dane S3 do nowego obiektu, dołącz nową zawartość i zapisz z powrotem do S3.

function writeToS3(input) {
    var content;
    var getParams = {
        Bucket: 'myBucket', 
        Key: "myKey"
    };

    s3.getObject(getParams, function(err, data) {
        if (err) console.log(err, err.stack);
        else {
            content = new Buffer(data.Body).toString("utf8");
            content = content + '\n' + new Date() + '\t' + input;
            var putParams = {
                Body: content,
                Bucket: 'myBucket', 
                Key: "myKey",
                ACL: "public-read"
             };

            s3.putObject(putParams, function(err, data) {
                if (err) console.log(err, err.stack); // an error occurred
                else     {
                    console.log(data);           // successful response
                }
             });
        }
    });  
}

2. Drugą opcją jest użycie Kinesis Firehose. Jest to dość proste. Musisz utworzyć strumień dostarczania węża strażackiego i połączyć miejsce docelowe z zasobnikiem S3. Otóż ​​to!

function writeToS3(input) {
    var content = "\n" + new Date() + "\t" + input;
    var params = {
      DeliveryStreamName: 'myDeliveryStream', /* required */
      Record: { /* required */
        Data: new Buffer(content) || 'STRING_VALUE' /* Strings will be Base-64 encoded on your behalf */ /* required */
      }
    };

    firehose.putRecord(params, function(err, data) {
      if (err) console.log(err, err.stack); // an error occurred
      else     console.log(data);           // successful response
    }); 
}

Jak powiedzieli wcześniej inni, obiektów S3 nie można dołączać.
Jednak innym rozwiązaniem byłoby zapisanie w dziennikach CloudWatch, a następnie wyeksportowanie dzienników, które chcesz, do S3 . Uniemożliwiłoby to również atakującym, którzy uzyskują dostęp do twojego serwera, usunięciem z twojego wiadra S3, ponieważ Lambda nie wymagałaby żadnych uprawnień S3.

W przypadku, gdy ktoś chce dołączyć dane do obiektu za pomocą usługi podobnej do S3, Alibaba Cloud OSS (Object Storage Service) obsługuje to natywnie .

OSS zapewnia przesyłanie przez dołączanie (przez AppendObject API), które umożliwia bezpośrednie dołączanie treści na końcu obiektu. Obiekty przesłane przy użyciu tej metody są obiektami, które można dołączyć, podczas gdy obiekty przesłane przy użyciu innych metod są zwykłymi obiektami. Załączone dane są natychmiast czytelne.

Miałem podobny problem io to właśnie prosiłem

jak dołączyć dane do pliku za pomocą AWS Lambda

Oto, co wymyśliłem, aby rozwiązać powyższy problem:

Użyj getObject, aby pobrać z istniejącego pliku

   s3.getObject(getParams, function(err, data) {
   if (err) console.log(err, err.stack); // an error occurred
   else{
       console.log(data);           // successful response
       var s3Projects = JSON.parse(data.Body);
       console.log('s3 data==>', s3Projects);
       if(s3Projects.length > 0) {
           projects = s3Projects;
       }   
   }
   projects.push(event);
   writeToS3(); // Calling function to append the data
});

Funkcja zapisu do dołączenia do pliku

   function writeToS3() {
    var putParams = {
      Body: JSON.stringify(projects),
      Bucket: bucketPath, 
      Key: "projects.json",
      ACL: "public-read"
     };

    s3.putObject(putParams, function(err, data) {
       if (err) console.log(err, err.stack); // an error occurred
       else     console.log(data);           // successful response
        callback(null, 'Hello from Lambda');
     });
}

Mam nadzieję, że to pomoże!!