Go と Gophercloud による OpenStack Swift へのファイルアップロード
Gophercloud v2 を使って Keystone で認証し、ローカルファイルを OpenStack Swift にアップロードして、ダウンロードしたバイト列を元のファイルと照合します。以下のコマンドは Dynamic Large Objects(DLO)にも対応しています。アップロードごとに新しいセグメントプレフィックスを使うため、短いファイルで置き換えても古いセグメントが引き継がれません。
前提条件
以下が必要です。
- Go 1.26.9、またはそれ以降のメンテナンス対象の Go 1.26 パッチバージョン。この例は Linux 上の Go 1.26.9 でテスト済みです。Go 1.27 も上流でサポートされていますが、この例のテスト対象外です。パッチの修正内容とサポートについては、Go のリリース履歴を参照してください。
- 以下のシェルコマンドを実行するための Bash
- Go プログラミングの基礎知識
- 既存の Keystone v3 および Swift 環境。利用するリージョンのサービスカタログにある
object-storeエンドポイントと、コンテナーの作成およびオブジェクトの読み取り、書き込み、削除の権限が必要です。 - プロバイダーの
clouds.yaml、またはユーザー名とパスワードの認証情報、およびユーザーとプロジェクトのドメイン
ストレージの例は、ローカルの単一ノード環境で Swift 2.38.2 と Keystone 30.0.0 を対象にテストしました。ホスティングプロバイダーのクォータ、レプリケーション、一覧取得の整合性を実証するものではありません。所有するコンテナーとオブジェクト名を使い、置き換えや削除の間は、読み取りや書き込みが並行して行われないようにしてください。コンテナー名には ASCII の英字、数字、アンダースコア、ハイフンを使用できます。オブジェクト名にはピリオドも使用できます。ローカルファイルのパスはオブジェクト名とは別で、スペースを含められます。
Go 環境のセットアップ
新しいプロジェクトを作成します。各シェルブロックはサブシェルで実行されるため、失敗しても呼び出し元のディレクトリとオプションは維持されます。GOWORK=off は、上位の Go ワークスペースによる別のモジュールの選択を防ぎます。swift-upload-example ディレクトリが既に存在する場合は処理を拒否します。既存のプロジェクトは削除せず、別の新しいディレクトリを選び、以降のパスを調整してください。
(
command -v go >/dev/null || { printf 'Install Go first.\n' >&2; exit 1; }
export GOWORK=off
mkdir swift-upload-example &&
cd swift-upload-example &&
go mod init example.com/swift-upload
)
Gophercloud のインストール
Gophercloud v2.15.0、認証情報を読み込むための v2 の utils モジュール、limited モードで使用するレートリミッターをインストールします。ここで使用する依存関係の正確なバージョンは以下のとおりです。
(
export GOWORK=off
cd swift-upload-example &&
go get github.com/gophercloud/gophercloud/v2@v2.15.0 &&
go get github.com/gophercloud/utils/v2/openstack/clientconfig@v2.0.0-20260922174841-b4759ea0529b &&
go get golang.org/x/time/rate@v0.16.0
)
Gophercloud と utils は、どちらも v2 のインポートパスを維持してください。インストールに失敗した場合は、プロジェクトの親ディレクトリからこのブロックを再実行し、既存のディレクトリに対してディレクトリ作成を再実行しないでください。以降のビルドで記録済みの依存関係の解決結果を使えるよう、go.mod と go.sum を一緒に保持してください。
OpenStack Swift での認証
以下の Go ブロックをそれぞれ、swift-upload-example 内の指定されたファイルに保存してください。これらはひとつの main パッケージに属する別々のソースファイルです。インポートブロックは記載どおりに維持してください。
プロバイダーの認証情報ファイルを swift-upload-example/clouds.yaml として保存します。パスワードベースの Keystone v3 認証の場合、エントリーは以下の形式です。すべてのプレースホルダーをプロバイダーから提供された値に置き換えてください。
clouds:
openstack:
auth_type: v3password
auth:
auth_url: https://identity.example.com/v3
username: YOUR_USERNAME
password: YOUR_PASSWORD
project_name: YOUR_PROJECT
user_domain_name: YOUR_USER_DOMAIN
project_domain_name: YOUR_PROJECT_DOMAIN
このファイルはバージョン管理に含めず、自分だけが読み取れるようにしてください。コマンドは openstack エントリーを OS_CLOUD で選択し、Swift のカタログエンドポイントを OS_REGION_NAME で選択します。RegionOne は利用するリージョンに置き換えてください。プライベート CA を使う場合は、プロセスの SSL_CERT_FILE にその PEM バンドルを設定します。TLS 証明書の検証は有効なままにしてください。
以下を auth.go として保存します。デフォルトの処理では clouds.yaml を使います。代替の -auth env は、環境から
OS_AUTH_URL、OS_USERNAME、OS_PASSWORD、OS_PROJECT_NAME、OS_DOMAIN_NAME を読み込みます。この簡易的な代替処理は、ユーザーとプロジェクトが同じドメインを共有する前提です。異なる場合は YAML を使ってください。
package main
import (
"context"
"fmt"
"os"
"github.com/gophercloud/gophercloud/v2"
"github.com/gophercloud/gophercloud/v2/openstack"
"github.com/gophercloud/utils/v2/openstack/clientconfig"
)
func authenticateWithCredentials(ctx context.Context) (*gophercloud.ServiceClient, error) {
opts := gophercloud.AuthOptions{
IdentityEndpoint: os.Getenv("OS_AUTH_URL"),
Username: os.Getenv("OS_USERNAME"),
Password: os.Getenv("OS_PASSWORD"),
TenantName: os.Getenv("OS_PROJECT_NAME"),
DomainName: os.Getenv("OS_DOMAIN_NAME"),
}
provider, err := openstack.AuthenticatedClient(ctx, opts)
if err != nil {
return nil, fmt.Errorf("error creating OpenStack provider client: %w", err)
}
client, err := openstack.NewObjectStorageV1(provider, gophercloud.EndpointOpts{
Region: os.Getenv("OS_REGION_NAME"),
})
if err != nil {
return nil, fmt.Errorf("error creating Swift service client: %w", err)
}
return client, nil
}
func authenticateWithCloudsYAML(ctx context.Context) (*gophercloud.ServiceClient, error) {
opts := &clientconfig.ClientOpts{
Cloud: os.Getenv("OS_CLOUD"),
}
provider, err := clientconfig.AuthenticatedClient(ctx, opts)
if err != nil {
return nil, fmt.Errorf("error creating provider client: %w", err)
}
client, err := openstack.NewObjectStorageV1(provider, gophercloud.EndpointOpts{
Region: os.Getenv("OS_REGION_NAME"),
})
if err != nil {
return nil, fmt.Errorf("error creating Swift service client: %w", err)
}
return client, nil
}
Swift コンテナーへのファイルアップロード
コンテナーの存在確認
以下を container.go として保存します。コンテナーが存在しない場合、404 を受け取った後にのみ作成します。拒否されたリクエストは呼び出し元に返します。Gophercloud の ResponseCodeIs は、ラップされたエラーを通じて HTTP ステータスを確認します。
package main
import (
"context"
"fmt"
"net/http"
"github.com/gophercloud/gophercloud/v2"
"github.com/gophercloud/gophercloud/v2/openstack/objectstorage/v1/containers"
)
func ensureContainer(ctx context.Context, client *gophercloud.ServiceClient, containerName string) error {
result := containers.Get(ctx, client, containerName, nil)
if result.Err == nil {
return nil
}
if !gophercloud.ResponseCodeIs(result.Err, http.StatusNotFound) {
return fmt.Errorf("error checking container %s: %w", containerName, result.Err)
}
_, err := containers.Create(ctx, client, containerName, containers.CreateOpts{}).Extract()
if err != nil {
return fmt.Errorf("error creating container %s: %w", containerName, err)
}
return nil
}
ファイルのアップロード
以下を upload.go として保存します。入力は通常ファイルである必要があり、アップロードと検証の間は変更しないでください。この例では application/octet-stream として保存します。
package main
import (
"context"
"fmt"
"os"
"github.com/gophercloud/gophercloud/v2"
"github.com/gophercloud/gophercloud/v2/openstack/objectstorage/v1/objects"
)
func uploadFile(ctx context.Context, client *gophercloud.ServiceClient, containerName, objectName, filePath string) error {
file, err := os.Open(filePath)
if err != nil {
return fmt.Errorf("error opening file: %w", err)
}
defer file.Close()
stat, err := file.Stat()
if err != nil {
return fmt.Errorf("error getting file info: %w", err)
}
if !stat.Mode().IsRegular() {
return fmt.Errorf("input must be a regular file")
}
createOpts := objects.CreateOpts{
Content: file,
ContentLength: stat.Size(),
ContentType: "application/octet-stream",
}
result := objects.Create(ctx, client, containerName, objectName, createOpts)
if err := result.Err; err != nil {
return fmt.Errorf("error uploading file: %w", err)
}
return nil
}
デフォルトでは、Gophercloud はアップロード前に MD5 ETag を計算します。シーク可能な *os.File の場合、ファイルのハッシュを計算してから先頭に戻します。ファイル全体をメモリに読み込まずに、ファイルを二度読み取ります。シークできないリーダーは、代わりにバッファリングされます。後述の検証コマンドは、空のファイルも含め、ローカルファイル全体とダウンロードしたオブジェクトの SHA-256 ハッシュを比較します。
アップロードの再試行ロジック
以下を retry.go として保存します。429、502、503、504 のレスポンスでは、試行回数を最大三回とし、間に 1 秒と 2 秒待機します。それ以外の失敗では直ちに戻ります。試行のたびに入力ファイルを開き直します。
package main
import (
"context"
"fmt"
"time"
"github.com/gophercloud/gophercloud/v2"
)
func uploadWithRetry(ctx context.Context, client *gophercloud.ServiceClient, containerName, objectName, filePath string) error {
backoff := []time.Duration{time.Second, 2 * time.Second, 5 * time.Second}
var err error
for i, wait := range backoff {
if err = uploadFile(ctx, client, containerName, objectName, filePath); err == nil {
return nil
}
if !retryable(err) {
return err
}
if i == len(backoff)-1 {
break
}
// Waiting on the context means a cancelled upload stops retrying immediately.
select {
case <-ctx.Done():
return ctx.Err()
case <-time.After(wait):
}
}
return fmt.Errorf("failed after %d attempts: %w", len(backoff), err)
}
func retryable(err error) bool {
return gophercloud.ResponseCodeIs(err, 429) ||
gophercloud.ResponseCodeIs(err, 502) ||
gophercloud.ResponseCodeIs(err, 503) ||
gophercloud.ResponseCodeIs(err, 504)
}
再試行では同じオブジェクト名を使い、既存のオブジェクトがあれば置き換えます。レスポンスが失われると、書き込み結果が不確定になることがあります。そのため、終了ステータスがゼロでないから何も保存されていないと判断する前に、オブジェクトを確認してください。
再試行付きのオブジェクトアップロード(createopts を使用)
以下を object-retry.go として保存します。セグメントには、試行のたびに新しいバイトリーダーを使います。以前のリクエストで読み尽くしたリーダーを再利用すると、再試行時に空のボディを送信することがあります。
package main
import (
"bytes"
"context"
"fmt"
"time"
"github.com/gophercloud/gophercloud/v2"
"github.com/gophercloud/gophercloud/v2/openstack/objectstorage/v1/objects"
)
func uploadObjectWithRetry(ctx context.Context, client *gophercloud.ServiceClient, containerName, objectName string, opts objects.CreateOpts, content []byte) error {
backoff := []time.Duration{time.Second, 2 * time.Second, 5 * time.Second}
var err error
for i, wait := range backoff {
attemptOpts := opts
attemptOpts.Content = bytes.NewReader(content)
attemptOpts.ContentLength = int64(len(content))
if err = objects.Create(ctx, client, containerName, objectName, attemptOpts).Err; err == nil {
return nil
}
if !retryable(err) {
return err
}
if i == len(backoff)-1 {
break
}
select {
case <-ctx.Done():
return ctx.Err()
case <-time.After(wait):
}
}
return fmt.Errorf("failed after %d attempts: %w", len(backoff), err)
}
セグメント化アップロードによる大容量ファイルの処理
以下を large.go として保存します。DLO マニフェストは、X-Object-Manifest ヘッダーでセグメントのコンテナーとプレフィックスを指定する、サイズがゼロバイトのオブジェクトです。Swift は一致するすべてのセグメントを名前の辞書順で連結するため、以下の名前では桁を揃えた数値を使います。ヘッダーの設定には、カスタムメタデータではなく CreateOpts.ObjectManifest を使ってください。Swift の DLO ドキュメントを参照してください。
新しいランダムなプレフィックスで、各バージョンを分離します。<objectName>/ を再利用すると、置き換え後のファイルが短い場合に末尾のセグメントが残り、公開前に古いマニフェストの内容も変わってしまいます。マニフェストはセグメントの後に書き込みます。DLO の組み立てはコンテナーの一覧取得に依存し、分散 Swift 環境では結果整合性となります。そのため、マニフェストを公開しただけでは、読み取り側が既にすべてのバイトを取得できるとは限りません。完了と見なす前にバイト列の検証を実行してください。
package main
import (
"context"
"crypto/rand"
"encoding/hex"
"fmt"
"io"
"os"
"github.com/gophercloud/gophercloud/v2"
"github.com/gophercloud/gophercloud/v2/openstack/objectstorage/v1/objects"
)
// A random version keeps replacements separate from a live manifest's segments.
func newSegmentPrefix(objectName string) (string, error) {
version := make([]byte, 16)
if _, err := rand.Read(version); err != nil {
return "", fmt.Errorf("error generating segment prefix: %w", err)
}
return fmt.Sprintf("%s/%s/", objectName, hex.EncodeToString(version)), nil
}
func uploadLargeFile(ctx context.Context, client *gophercloud.ServiceClient, containerName, objectName, filePath string) error {
file, err := os.Open(filePath)
if err != nil {
return fmt.Errorf("error opening file: %w", err)
}
defer file.Close()
stat, err := file.Stat()
if err != nil {
return fmt.Errorf("error getting file info: %w", err)
}
if !stat.Mode().IsRegular() {
return fmt.Errorf("input must be a regular file")
}
// Discover destination failures before sending segments.
if err := ensureContainer(ctx, client, containerName); err != nil {
return fmt.Errorf("error ensuring destination container: %w", err)
}
segmentsContainerName := containerName + "_segments"
if err := ensureContainer(ctx, client, segmentsContainerName); err != nil {
return fmt.Errorf("error ensuring segments container: %w", err)
}
segmentPrefix, err := newSegmentPrefix(objectName)
if err != nil {
return err
}
buffer := make([]byte, 5*1024*1024) // 5 MiB segments
segmentNum := 0
for {
// ReadFull fills each segment except the final one despite short filesystem reads.
n, readErr := io.ReadFull(file, buffer)
if n > 0 {
segmentName := fmt.Sprintf("%s%08d", segmentPrefix, segmentNum)
segmentOpts := objects.CreateOpts{ContentType: "application/octet-stream"}
if err := uploadObjectWithRetry(ctx, client, segmentsContainerName, segmentName, segmentOpts, buffer[:n]); err != nil {
return fmt.Errorf("error uploading segment %d: %w", segmentNum, err)
}
segmentNum++
}
if readErr == io.EOF || readErr == io.ErrUnexpectedEOF {
break
}
if readErr != nil {
return fmt.Errorf("error reading file: %w", readErr)
}
}
// A replacement continues to reference its previous prefix until publication.
manifestOpts := objects.CreateOpts{
ContentType: "application/octet-stream",
ObjectManifest: segmentsContainerName + "/" + segmentPrefix,
}
if err := uploadObjectWithRetry(ctx, client, containerName, objectName, manifestOpts, nil); err != nil {
return fmt.Errorf("error creating manifest for large file: %w", err)
}
return nil
}
失敗したアップロードや置き換えられたバージョンのセグメントは残ります。<objectName>/ を一括削除しないでください。使用中のバージョンや別の実行のデータも含まれています。マニフェストのレスポンスが不確定な場合は特に危険です。呼び出し元で失敗していても、サーバーでは公開済みの可能性があります。汎用的なガベージコレクションには、所有権の立証、現在の参照の確認、および実行中のアップロードと読み取りより長い猶予期間が必要です。この例では、そのようなコレクターは実装しません。
通常の DELETE は、セグメントを保持したまま DLO マニフェストを削除します。SLO の ?multipart-manifest=delete は DLO のクリーンアップ操作ではありません。Swift 2.38.2 の SLO ハンドラーは、外側の HTTP ステータスとして 200 を返し、一括削除のボディで 400 を報告するため、DLO はそのまま残ります。以下の -mode delete コマンドは、現在のマニフェストと、そのバージョンの正確なプレフィックスだけを削除します。排他的な所有権があり、読み取りと書き込みが停止している前提です。古いバージョンや失敗したバージョンは、別途調査するために残します。
エラー処理とベストプラクティス
レート制限
以下のラッパーを rate.go として保存します。長時間動作する呼び出し元で再利用すると、ファイル全体のアップロードの受け入れを制限します。個々の再試行やセグメントのリクエストは制限しません。CLI を一度実行しただけでは、継続的なリクエストレートを実証できません。
package main
import (
"context"
"fmt"
"github.com/gophercloud/gophercloud/v2"
"golang.org/x/time/rate"
)
type RateLimitedClient struct {
client *gophercloud.ServiceClient
limiter *rate.Limiter
}
func NewRateLimitedClient(client *gophercloud.ServiceClient, rps float64) *RateLimitedClient {
return &RateLimitedClient{
client: client,
limiter: rate.NewLimiter(rate.Limit(rps), 1),
}
}
func (r *RateLimitedClient) UploadFile(ctx context.Context, containerName, objectName, filePath string) error {
if err := r.limiter.Wait(ctx); err != nil {
return fmt.Errorf("rate limit wait error: %w", err)
}
return uploadWithRetry(ctx, r.client, containerName, objectName, filePath)
}
アップロードしたオブジェクトの検証と削除
以下を verify.go として保存します。ローカルファイルとダウンロードしたボディ全体のハッシュを、それぞれ計算します。DLO の ETag は元のファイルの MD5 ではないため、この両者の ETag を比較するのは誤った検証です。
package main
import (
"bytes"
"context"
"crypto/sha256"
"errors"
"fmt"
"io"
"os"
"github.com/gophercloud/gophercloud/v2"
"github.com/gophercloud/gophercloud/v2/openstack/objectstorage/v1/objects"
)
var errContentMismatch = errors.New("downloaded bytes differ from the local file")
func verifyFile(ctx context.Context, client *gophercloud.ServiceClient, containerName, objectName, filePath string) error {
file, err := os.Open(filePath)
if err != nil {
return err
}
defer file.Close()
localHash := sha256.New()
localSize, err := io.Copy(localHash, file)
if err != nil {
return err
}
result := objects.Download(ctx, client, containerName, objectName, nil)
if result.Err != nil {
return result.Err
}
defer result.Body.Close()
remoteHash := sha256.New()
remoteSize, err := io.Copy(remoteHash, result.Body)
if err != nil {
return err
}
if localSize != remoteSize || !bytes.Equal(localHash.Sum(nil), remoteHash.Sum(nil)) {
return errContentMismatch
}
fmt.Printf("Verified %s/%s: %d bytes, sha256 %x\n", containerName, objectName, remoteSize, remoteHash.Sum(nil))
return nil
}
以下を cleanup.go として保存します。DLO の参照先が、このコマンドのセグメントコンテナー、オブジェクト名、および単一のランダムなバージョンであることを確認します。マニフェストを削除する前に、その正確なプレフィックスの一覧を取得し、そのセグメントだけを削除します。マニフェストの削除後に削除処理が失敗しても残ったセグメントを調査できるよう、プレフィックスを最初に出力します。コンテナー自体は保持します。
package main
import (
"context"
"encoding/hex"
"fmt"
"strings"
"github.com/gophercloud/gophercloud/v2"
"github.com/gophercloud/gophercloud/v2/openstack/objectstorage/v1/objects"
)
func deleteUpload(ctx context.Context, client *gophercloud.ServiceClient, containerName, objectName string) error {
header, err := objects.Get(ctx, client, containerName, objectName, nil).Extract()
if err != nil {
return err
}
var names []string
segmentsContainer := containerName + "_segments"
if header.ObjectManifest != "" {
parts := strings.Split(header.ObjectManifest, "/")
if len(parts) != 4 || parts[0] != segmentsContainer || parts[1] != objectName ||
len(parts[2]) != 32 || parts[3] != "" {
return fmt.Errorf("refusing a manifest outside this upload's namespace")
}
if _, err := hex.DecodeString(parts[2]); err != nil {
return fmt.Errorf("refusing an invalid version prefix")
}
prefix := objectName + "/" + parts[2] + "/"
pages, err := objects.List(client, segmentsContainer, objects.ListOpts{Prefix: prefix}).AllPages(ctx)
if err != nil {
return err
}
names, err = objects.ExtractNames(pages)
if err != nil {
return err
}
fmt.Printf("Segment prefix: %s\n", header.ObjectManifest)
}
if err := objects.Delete(ctx, client, containerName, objectName, nil).Err; err != nil {
return err
}
for _, name := range names {
if err := objects.Delete(ctx, client, segmentsContainer, name, nil).Err; err != nil {
return err
}
}
return nil
}
完成したコマンドの実行
以下を main.go として保存します。デフォルトモードはファイルをアップロードします。large は DLO セグメントを使用し、limited はレート制限付きラッパーを呼び出し、verify はダウンロードしてバイト列を比較し、delete は上記の範囲を限定したクリーンアップを実行します。Ctrl+C はキャンセルを要求します。エラー時には、認証情報や生の API レスポンスを出力せず、ゼロ以外のステータスを返します。
package main
import (
"context"
"errors"
"flag"
"fmt"
"os"
"os/signal"
"regexp"
"syscall"
"github.com/gophercloud/gophercloud/v2"
)
func main() {
if err := run(); err != nil {
fmt.Fprintln(os.Stderr, failureMessage(err))
os.Exit(1)
}
}
func run() error {
mode := flag.String("mode", "file", "file, large, limited, verify, or delete")
auth := flag.String("auth", "yaml", "yaml or env")
flag.Parse()
args := flag.Args()
if *mode != "file" && *mode != "large" && *mode != "limited" && *mode != "verify" && *mode != "delete" {
return fmt.Errorf("unknown mode")
}
if *auth != "yaml" && *auth != "env" {
return fmt.Errorf("unknown authentication mode")
}
if (*mode == "delete" && len(args) != 2) || (*mode != "delete" && len(args) != 3) {
return fmt.Errorf("usage: swift-upload [-mode MODE] [-auth yaml|env] CONTAINER OBJECT [FILE]")
}
containerName, objectName := args[0], args[1]
if !regexp.MustCompile(`^[A-Za-z0-9_-]+$`).MatchString(containerName) ||
!regexp.MustCompile(`^[A-Za-z0-9_.-]+$`).MatchString(objectName) {
return fmt.Errorf("use plain ASCII container and object names")
}
if os.Getenv("OS_REGION_NAME") == "" || (*auth == "yaml" && os.Getenv("OS_CLOUD") == "") {
return fmt.Errorf("set OS_REGION_NAME and, for YAML authentication, OS_CLOUD")
}
if *mode != "delete" {
stat, err := os.Stat(args[2])
if err != nil {
return fmt.Errorf("cannot inspect input: %w", err)
}
if !stat.Mode().IsRegular() {
return fmt.Errorf("input must be a regular file")
}
}
ctx, stop := signal.NotifyContext(context.Background(), os.Interrupt, syscall.SIGTERM)
defer stop()
var client *gophercloud.ServiceClient
var err error
if *auth == "env" {
client, err = authenticateWithCredentials(ctx)
} else {
client, err = authenticateWithCloudsYAML(ctx)
}
if err != nil {
return fmt.Errorf("authentication or catalog lookup failed: %w", err)
}
if *mode == "verify" {
return verifyFile(ctx, client, containerName, objectName, args[2])
}
if *mode == "delete" {
if err := deleteUpload(ctx, client, containerName, objectName); err != nil {
return fmt.Errorf("deletion failed: %w", err)
}
fmt.Printf("Deleted %s/%s\n", containerName, objectName)
return nil
}
if err := ensureContainer(ctx, client, containerName); err != nil {
return err
}
switch *mode {
case "large":
err = uploadLargeFile(ctx, client, containerName, objectName, args[2])
case "limited":
err = NewRateLimitedClient(client, 1).UploadFile(ctx, containerName, objectName, args[2])
default:
err = uploadWithRetry(ctx, client, containerName, objectName, args[2])
}
if err != nil {
return err
}
fmt.Printf("Uploaded %s/%s\n", containerName, objectName)
return nil
}
func failureMessage(err error) string {
if errors.Is(err, errContentMismatch) {
return "Verification failed: downloaded bytes differ from the local file."
}
if errors.Is(err, context.Canceled) {
return "Operation canceled; inspect stored objects before retrying."
}
for _, status := range []int{401, 403, 404, 429, 502, 503, 504} {
if gophercloud.ResponseCodeIs(err, status) {
return fmt.Sprintf("Operation failed with HTTP %d; check credentials, access, and the target object.", status)
}
}
return "Operation failed; check arguments, cloud configuration, and the local input file."
}
既存のファイルを上書きせずに、小さなバイナリのテストデータを作成します。
(
set -C
cd swift-upload-example &&
printf '\000\377Swift\n' > example.bin
)
ビルドしてアップロードし、検証します。両方のコマンドで、exports を所有するコンテナーに、RegionOne をカタログのリージョンに変更してください。ビルドでは、このプロジェクトの swift-upload 実行ファイルを置き換えます。ビルドに失敗すると、以前の実行ファイルを実行する前にブロックが停止します。
(
export GOWORK=off
cd swift-upload-example &&
go build -o swift-upload . &&
OS_CLOUD=openstack OS_REGION_NAME=RegionOne ./swift-upload exports example.bin ./example.bin &&
OS_CLOUD=openstack OS_REGION_NAME=RegionOne ./swift-upload -mode verify exports example.bin ./example.bin
)
この八バイトのテストデータで想定される出力は以下のとおりです。
Uploaded exports/example.bin
Verified exports/example.bin: 8 bytes, sha256 2949a2f975f056f2652117015349d0768d9eaffcd9eacd14f81147844c47f158
手元のより大きなファイルには、同じ実行ファイルで -mode large を使い、その後で組み立てられたオブジェクトを検証します。同じオブジェクト名にアップロードすると内容が置き換わりますが、DLO の置き換えでは古いセグメントのバージョンが保持されます。DLO の一覧がまだ収束していないために検証が失敗した場合は、再アップロードせずに検証を再試行してください。ハッシュの不一致は、セグメントの欠落や変更を意味する場合もあるため、何かを削除する前に正確なプレフィックスを調査してください。
(
cd swift-upload-example &&
OS_CLOUD=openstack OS_REGION_NAME=RegionOne ./swift-upload -mode large exports backup.bin ./backup.bin &&
OS_CLOUD=openstack OS_REGION_NAME=RegionOne ./swift-upload -mode verify exports backup.bin ./backup.bin
)
読み取りと書き込みを停止した後、所有する現在のバージョンを削除します。
(
cd swift-upload-example &&
OS_CLOUD=openstack OS_REGION_NAME=RegionOne ./swift-upload -mode delete exports backup.bin
)
クリーンアップが失敗した場合は、出力されたプレフィックスを確認し、所有するそのバージョンだけを調査してください。マニフェストがなくなった後に再度削除すると 404 が返り、そのヘッダーから残ったセグメントを検出することはできません。名前が同じオブジェクト名で始まるというだけで、隣接するバージョンを削除してはいけません。
ご自身での運用は避けたいですか?
Transloadit は、単一の API 呼び出し内の処理の一環として、S3、Azure、Google Cloud などにファイルをエクスポートします。
