Transloadit の Terraform Provider プラグインを公開
この発表とチュートリアルは 2020 年のもので、Terraform 0.12 と、以下でバージョンを固定した Provider を使用しています。新しいインフラを構築する場合は、現行の Provider ドキュメントに従ってください。
本日、Transloadit 独自の Terraform Provider プラグインを発表できることを、大変うれしく思います!この記事では、このプラグインに期待を寄せる理由と、実際のセットアップ方法を紹介します。
Transloadit とは?
Transloadit は企業向けのファイル処理サービスです。開発者が 宣言的な JSON の処理設定で目的のメディア出力を記述すると、Transloadit が動画のエンコード、画像のリサイズや内容の説明、音声の正規化、ドキュメントのサムネイル作成、Web サイトのスクリーンショット撮影などを行います。ほかにもさまざまな処理に対応しています。
Terraform とは?
Terraform は、インフラをコードでプロビジョニングするためのツール(Infrastructure as Code(IaC))です。開発者が 宣言的な HCL の処理設定で目的のインフラ構成を記述すると、Terraform が実際のインフラの状態と比較し、記述された状態に一致するように変更を加えます。例えば、S3 バケットの作成やロードバランサーの名前変更などを行います。
Transloadit 社内での Terraform の活用
社内では Terraform を使い、3 リージョンにまたがる 460 の AWS リソースを、同期を保ちながらプロビジョニングしてきました。これまで順調に機能しています。同僚(あるいは、もっとありそうなのは私自身)がうっかり何かを変更したり、意図した変更をアジアのデータセンターにも同期し忘れたりしても、私が terraform apply を実行すると、Terraform が検出して修正してくれます。さらに、処理設定を Git で管理しているため、6 年前のソフトウェア用インフラがどのような構成だったかを確認でき、必要であればその状態に戻すこともできます。実に強力です!
Terraform での Transloadit の活用
利用できる Provider プラグインは非常に多く、今では Terraform で 1Password Vault まで設定できます。そこで、Transloadit Terraform Providerを提供し、Terraform から Transloadit の処理設定(Template)をプロビジョニングできるようにするとよいのではないかと考えました。その理由を説明します。
Transloadit でアップロードされた動画を自動エンコードする場合を考えてみます。処理結果はどこかに保存する必要があり、通常は S3 などのクラウドストレージサービスのバケットを使います。そのため、Transloadit にはそのバケットへの書き込み権限が必要です。すでに Terraform でバケットと関連する IAM 権限を作成・設定しているなら、同じインフラの処理設定から Transloadit をプロビジョニングし、そのバケットにファイルを保存するよう設定できます。あわせて、当社による保存を許可するように AWS を設定できます。
Transloadit Terraform Provider プラグインがあれば、メディア処理パイプライン全体を宣言的に管理できます。これにより、次のことが可能になります。
- PR での変更のレビューと共同作業
- インフラの以前の構成へのロールバック
- 設定ミスの自動修復
- 他のリージョンへの変更の同期
- 隣接するインフラコンポーネント間の互換性の確保
Transloadit Terraform Provider の開発に着手
Terraform の力を実感し、その機能をサービスのお客様にも提供したいと考え、Transloadit Terraform Provider を開発することにしました。
ただ、Terraform Provider を自分たちで書いた経験はなく、かなり忙しい状況でもありました。そこで、開発を引き受けてくれる外部のフリーランスの方がいないか、Hacker News で声をかけてみました。すると、Etienne Carriere が連絡をくれました。Etienne は協力を申し出てくれただけでなく、報酬を受け取る代わりに Red Cross に寄付してほしいと提案してくれたのです 🏥

Etienne、すばらしい仕事を本当にありがとうございます!その丁寧さと開発の速さ、そして報酬をまったく受け取らない姿勢のどれにいちばん感銘を受けたのか、選べないほどです。これまでファンがいなかったとしても、今は間違いなくいます!
それでは、Etienne が開発したものと、その使い方を見ていきましょう。
チュートリアル
インストール
Transloadit に登録し、Auth Key と Auth Secretを控えたら、次のものをインストールします。
どちらも単一のバイナリなので、適切な場所に配置するだけです。
定義
次に、Transloadit の Template用の処理設定を追加します。例えば、main.tf というファイルを使います。
cd ~/code
mkdir transloadit-infra
cd transloadit-infra
$EDITOR main.tf
ファイルの内容は次のとおりです。
provider "aws" {
# This needs AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY in your env
version = "2.62.0"
}
provider "transloadit" {
# This needs TRANSLOADIT_AUTH_KEY and TRANSLOADIT_AUTH_SECRET in your env
version = "0.1.0"
}
resource "aws_s3_bucket" "uploads" {
bucket = "uploads.example.com"
acl = "private"
}
data "aws_iam_policy_document" "transloadit-policy" {
statement {
sid = "AllowTransloaditToStoreFilesInUploadsExampleComBucket"
effect = "Allow"
actions = [
"s3:GetBucketLocation",
"s3:ListBucket",
"s3:PutObject",
"s3:PutObjectAcl",
]
resources = [
"arn:aws:s3:::${aws_s3_bucket.uploads.id}",
"arn:aws:s3:::${aws_s3_bucket.uploads.id}/*",
]
}
}
resource "aws_iam_user_policy" "transloadit-policy" {
name = "transloadit-policy"
user = aws_iam_user.transloadit.name
policy = data.aws_iam_policy_document.transloadit-policy.json
}
resource "aws_iam_user" "transloadit" {
name = "transloadit"
}
resource "aws_iam_access_key" "transloadit" {
user = aws_iam_user.transloadit.name
}
resource "transloadit_template" "to-ipad-with-thumbnails" {
name = "to-ipad-with-thumbnails"
template = <<EOT
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"encoded": {
"use": ":original",
"robot": "/video/encode",
"preset": "ipad-high",
"ffmpeg_stack": "v7"
},
"thumbed": {
"use": ":original",
"robot": "/video/thumbs",
"count": 4,
"ffmpeg_stack": "v7"
},
"exported": {
"use": [ ":original", "encoded", "thumbed"],
"bucket": "${aws_s3_bucket.uploads.id}",
"key": "${aws_iam_access_key.transloadit.id}",
"secret": "${aws_iam_access_key.transloadit.secret}",
"acl": "bucket-default",
"robot": "/s3/store"
}
}
}
EOT
}
output "to-ipad-with-thumbnails-id" {
value = transloadit_template.to-ipad-with-thumbnails.id
}
この設定では IAM ユーザーのシークレットアクセスキーが状態ファイルに書き込まれるため、バックエンドの状態ファイルは十分に注意して保護してください。代わりに
pgp_keyを指定すると、シークレットの平文保存を防げますが、その代わり、シークレットキーを自動化処理で使用できなくなります。出典: https://www.terraform.io/docs/providers/aws/r/iam_access_key.html.
プロビジョニング
CLI に戻り、次のコマンドを実行します。
# Use your workspace Auth Key and Auth Secret, not storage Template Credentials.
export TRANSLOADIT_AUTH_KEY="********"
export TRANSLOADIT_AUTH_SECRET="********"
# You can get your AWS key & secret from https://console.aws.amazon.com/iam/home
# Under users->user->security credentials
export AWS_ACCESS_KEY_ID="********"
export AWS_SECRET_ACCESS_KEY="********"
terraform init # only required on the first run after using a new Provider (version)
terraform apply
Terraform がインフラへの変更を提案します。
内容を慎重に確認して yes を選んだなら、ユーザーがアップロードするあらゆる動画を処理できるバックエンドがプロビジョニングされたことになります。このバックエンドは、iPad での表示に最適な形に動画をエンコードし、プレビュー用のサムネイル画像を 4 枚抽出して、すべての結果を S3 バケット uploads.example.com に保存します(このバケット名は変更しておくとよいでしょう)。
AWS 側では、Transloadit が S3 にファイルを保存できるよう、必要な IAM ユーザーとポリシーがすべてプロビジョニングされています。
出力 to-ipad-with-thumbnails-id の値は、template_id として参照できます(例えば、Uppy を使った Web ブラウザーのファイルアップロード連携で使用します)。これで完了です 😄
💡 ここで使用したメディアエンコード用の JSON 処理設定に興味がある方は、当社の連携ドキュメントをご覧ください。
Transloadit Terraform Provider のさらに詳しい使用例は、Provider の website ディレクトリにあります。
テスト
to-ipad-with-thumbnails Templateはこちらで確認できます。クリックして「テストエリア」の表示を切り替え、動画をアップロードすると、処理の流れを確認できます。
今後の予定は?
現在、この Provider が HashiCorp の公式プラグインとして登録されるよう取り組んでいます。実現すれば、Provider プラグインの発見やドキュメントの参照が容易になります。さらに、HCL で transloadit を参照し、terraform init を実行するだけで自動インストールもできるようになります。
現時点でも、このプラグインが役立つことを願っています。このプラグインでどのようなものが作られるのか、楽しみにしています。ぜひ教えてください!
