Sichere Datei-Uploads zu Amazon S3 mit Boto3: bewährte Verfahren

Kevin van Zonneveld

Mitgründer · Amsterdam, Niederlande · Bio anzeigen

Dateien zu Amazon S3 hochzuladen ist für viele Anwendungen eine alltägliche Aufgabe. Dabei ist es jedoch entscheidend, diese Uploads abzusichern, um sensible Daten zu schützen und Sicherheitsstandards einzuhalten. In diesem Beitrag zeigen wir Ihnen, wie Sie Dateien mit Boto3 sicher zu Amazon S3 hochladen, mit Fokus auf Verschlüsselung und Mechanismen zur Zugriffssteuerung.

Warum Boto3 für S3-Datei-Uploads verwenden?

Boto3 ist das Software Development Kit (SDK) von Amazon Web Services (AWS) für Python und ermöglicht Ihnen die programmatische Interaktion mit AWS-Diensten wie S3. Boto3 bietet eine nahtlose Möglichkeit, Datei-Uploads zu verwalten, Verschlüsselung zu handhaben und Richtlinien zur Zugriffssteuerung direkt aus Ihren Python-Anwendungen heraus zu steuern.

Ihre AWS-Umgebung einrichten

Bevor Sie mit dem Code beginnen, stellen Sie sicher, dass die erforderliche Umgebung eingerichtet ist:

1. Boto3 installieren:

   pip install boto3
   

2. AWS-Zugangsdaten konfigurieren:

   Boto3 authentifiziert Anfragen mit AWS-Zugangsdaten. Diese können Sie über die AWS CLI oder durch das Anlegen einer Konfigurationsdatei einrichten.

   aws configure
   

   Alternativ können Sie Umgebungsvariablen setzen:

   export AWS_ACCESS_KEY_ID='YOUR_ACCESS_KEY'
   export AWS_SECRET_ACCESS_KEY='YOUR_SECRET_KEY'
   export AWS_DEFAULT_REGION='YOUR_PREFERRED_REGION'
   

   Um Sicherheitsrisiken zu vermeiden, sollten Sie Ihre AWS-Zugangsdaten niemals fest im Code hinterlegen.

Eine Datei mit Boto3 zu S3 hochladen

Nachfolgend finden Sie ein sicheres Beispiel, wie Sie eine Datei mit Boto3 und robuster Fehlerbehandlung in einen S3-Bucket hochladen:

import boto3
from boto3.exceptions import S3UploadFailedError
from botocore.exceptions import BotoCoreError, ClientError
import logging
import os


def upload_file(file_name, bucket, object_name=None):
    if object_name is None:
        object_name = os.path.basename(file_name)

    try:
        s3_client = boto3.client('s3')
        s3_client.upload_file(file_name, bucket, object_name)
        # S3 applies the bucket's configured default encryption.
        return True
    except (S3UploadFailedError, BotoCoreError, ClientError, OSError) as e:
        logging.error('Upload failed (%s)', type(e).__name__)
        return False

Dateiverschlüsselung auf S3 umsetzen

Amazon S3 verschlüsselt alle neuen Objekte im Ruhezustand. Ohne eine Verschlüsselungsvorgabe in der Anfrage wird die Standardverschlüsselungskonfiguration des Buckets verwendet. Diese Konfiguration beginnt mit SSE-S3 (AES256), kann jedoch auf KMS-Schlüssel umgestellt werden. Für SSE-S3 fallen keine zusätzlichen Verschlüsselungsgebühren an.

Für zusätzliche Sicherheit mit Schlüsseln des AWS Key Management Service (KMS) geben Sie Verschlüsselungsparameter wie folgt an:

boto3.client('s3').upload_file(
    file_path,
    bucket_name,
    key,
    ExtraArgs={
        'ServerSideEncryption': 'aws:kms',
        'SSEKMSKeyId': 'your-kms-key-id'
    }
)

Richtlinien zur Zugriffssteuerung für sichere Uploads verwalten

Den Zugriff auf Ihre S3-Ressourcen zu steuern ist für die Sicherheit entscheidend. Hier finden Sie einige bewährte Verfahren:

Bucket-Richtlinien

Erzwingen Sie ausschließlich HTTPS-Zugriff, indem Sie eine Bucket-Richtlinie anwenden. Zum Beispiel:

import json

bucket_policy = {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "DenyHTTP",
            "Effect": "Deny",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::your-bucket-name",
                "arn:aws:s3:::your-bucket-name/*"
            ],
            "Condition": {
                "Bool": {
                    "aws:SecureTransport": "false"
                }
            }
        }
    ]
}

bucket_policy_json = json.dumps(bucket_policy)

s3_client = boto3.client('s3')

s3_client.put_bucket_policy(
    Bucket="your-bucket-name",
    Policy=bucket_policy_json
)

S3 Object Ownership und ACLs

Beachten Sie, dass S3 Object Ownership seit April 2023 standardmäßig auf „Bucket owner enforced“ gesetzt ist, wodurch ACLs deaktiviert werden. Nutzen Sie Bucket-Richtlinien, um die Zugriffssteuerung zu verwalten. Falls Sie ACLs ausdrücklich benötigen, stellen Sie sicher, dass sie in Ihren Bucket-Einstellungen aktiviert sind.

Wenn Sie ACLs verwenden müssen, können Sie sie wie folgt einbinden:

# Use ACLs only if your bucket settings allow them
boto3.client('s3').upload_file(
    file_name,
    bucket_name,
    key,
    ExtraArgs={
        'ACL': 'private'
    }
)

Datei-Upload-Prozesse mit Python-Skripten automatisieren

Das folgende Skript zeigt, wie Sie mehrere Dateien aus einem Verzeichnis sicher hochladen, mit angemessener Fehlerbehandlung und Protokollierung:

import os
import boto3
from boto3.exceptions import S3UploadFailedError
from botocore.exceptions import BotoCoreError, ClientError
import logging

logging.basicConfig(level=logging.INFO)


def upload_directory(directory_path, bucket_name, s3_prefix=''):
    s3_client = boto3.client('s3')
    uploaded_files = []
    errors = []

    for root, dirs, files in os.walk(directory_path):
        for filename in files:
            local_path = os.path.join(root, filename)
            relative_path = os.path.relpath(local_path, directory_path)
            s3_path = os.path.join(s3_prefix, relative_path).replace("\\", "/")

            try:
                s3_client.upload_file(local_path, bucket_name, s3_path)
                uploaded_files.append(s3_path)
                logging.info(f'Successfully uploaded {local_path} to s3://{bucket_name}/{s3_path}')
            except (S3UploadFailedError, BotoCoreError, ClientError, OSError) as e:
                errors.append({'file': local_path, 'error': type(e).__name__})
                logging.error('Upload failed (%s)', type(e).__name__)

    return uploaded_files, errors

Häufige Probleme beheben

Fehler „Access denied“

Stellen Sie sicher, dass Sie das Prinzip der geringsten Rechte anwenden, indem Sie gezielt zugeschnittene IAM-Richtlinien verwenden. Zum Beispiel:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["s3:PutObject", "s3:GetObject", "s3:ListBucket"],
      "Resource": ["arn:aws:s3:::your-bucket-name/*", "arn:aws:s3:::your-bucket-name"]
    }
  ]
}

Transfer Acceleration

Aktivieren Sie für schnellere Uploads über große Entfernungen S3 Transfer Acceleration:

from botocore.config import Config

s3_client = boto3.client('s3',
    config=Config(
        s3={'use_accelerate_endpoint': True}
    )
)

Erweiterte S3-Funktionen

Über einfache Datei-Uploads hinaus bietet AWS S3 mehrere erweiterte Funktionen für Ihre Workflows:

• S3 Object Lambda: Bestehende berechtigte Kunden können Daten, die von S3-Anfragen zurückgegeben werden, transformieren, ohne das gespeicherte Objekt zu verändern. Seit November 2025 ist die Verfügbarkeit auf bestehende Nutzer und ausgewählte Partner beschränkt; siehe den Verfügbarkeitshinweis von AWS⁠.
• S3-Lifecycle-Richtlinien: Automatisieren Sie den Übergang von Objekten in kostengünstigere Speicherklassen oder planen Sie deren Löschung anhand definierter Regeln.
• S3 Event Notifications: Überwachen Sie Bucket-Ereignisse und lösen Sie Aktionen aus, etwa das Aufrufen von Lambda-Funktionen oder das Senden von Nachrichten über SNS oder SQS, wenn neue Objekte erstellt werden.

So können Sie S3 Event Notifications beispielsweise mit Boto3 konfigurieren:

import boto3

s3_client = boto3.client('s3')

notification_configuration = {
    'LambdaFunctionConfigurations': [
        {
            'LambdaFunctionArn': 'arn:aws:lambda:us-east-1:123456789012:function:ProcessS3Event',
            'Events': ['s3:ObjectCreated:*'],
            'Filter': {
                'Key': {
                    'FilterRules': [
                        {'Name': 'suffix', 'Value': '.jpg'}
                    ]
                }
            }
        }
    ]
}

s3_client.put_bucket_notification_configuration(
    Bucket='your-bucket-name',
    NotificationConfiguration=notification_configuration
)

Fazit

Sichere Datei-Uploads zu Amazon S3 erfordern ein fundiertes Verständnis moderner Sicherheitsfunktionen und bewährter Verfahren. Indem Sie Boto3 zusammen mit den integrierten Sicherheitsfunktionen von AWS S3 nutzen, können Sie robuste und zuverlässige Lösungen für Datei-Uploads entwickeln.

Die wichtigsten Erkenntnisse:

• Nutzen Sie eine robuste Fehlerbehandlung, um zuverlässige Uploads sicherzustellen
• Profitieren Sie von der standardmäßigen SSE-S3-Verschlüsselung (AES256) oder entscheiden Sie sich für AWS KMS, wenn Sie die Sicherheit individuell anpassen möchten
• Setzen Sie auf Bucket-Richtlinien statt auf ACLs, da ACLs in neuen Buckets standardmäßig deaktiviert sind
• Nutzen Sie S3 Transfer Acceleration und erweiterte Funktionen wie Object Lambda, Lifecycle-Richtlinien und Event Notifications, um Leistung und Verwaltbarkeit zu verbessern

Wenn Sie diese bewährten Verfahren befolgen, verbessern Sie sowohl die Sicherheit als auch die Effizienz Ihrer Datei-Upload-Prozesse.

Möchten Sie Ihre Datei-Upload-Prozesse noch weiter vereinfachen? Entdecken Sie Transloadit für leistungsstarke Lösungen rund um Datei-Uploads und Encoding.