Simple Storage Service

S3アップロードからLambda関数を大規模に呼び出す

S3にファイルをアップロードし、Lambda関数を起動し、ファイル名をデータベースに書き込みたいお客さま。このシナリオでは、1秒間に10,000回のアップロードが発生する可能性があります。

アップロードされたすべてのファイルに対して、Lambda関数が呼び出されることを100%保証するものではありません。

ピークを処理して、ファイル名をデータベースに書き込むとしたら、どのような方法が良いでしょうか?





最近S3は通知の仕組みを変更し、少なくとも1回はイベントを配信するようになった。全てのイベントを確実に処理したい場合は、SQSにイベントを送り、キューからLambdaを起動します。通知に加えて、S3 Inventoryとデータベースにあるものを比較して、見逃したイベントをキャッチすることができます。



S3 バケットセキュリティ
cloudfrontを使用してaws sdk経由でs3バケットにアップロードされたオブジェクトをGETしようとすると、アクセスが拒否されます。
CloudFrontディストリビューションへのドメイン名の追加
お客様が最もコストの高いS3バケットを見つける方法、または各S3バケットのコストをソートする方法
アマゾン・シンプル・ストレージ・サービス