Terraform でのプロビジョニングを改善する API 拡張
先日、お客様から Hashicorp の Terraform で Transloadit をプロビジョニングしたいとのご相談がありました。すでに API を使ってアカウントと Templateを設定する Terraform Provider Plugin は提供していました。しかし、ご指摘のとおり、重要な機能が欠けていました。Template 認証情報の作成と管理には、依然として Console の UI を使う必要があったのです。
これまでは、それが唯一の方法でした。しかし、本日からは違います。エンドポイントを追加したことで、当社のウェブサイトにアクセスして従来のようにクリック操作をしなくても、サードパーティーの認証情報を管理できるようになりました。
すぐに使い始めたい場合は、Template 認証情報 API エンドポイントのドキュメントをご覧ください。

なぜ必要なのか?
このユースケースを教えてくださったのは、Tastemade のエンジニアリング責任者、Bryan McLemore さんです。当時の API では、必要以上に多くの人が API のシークレットに触れることになると説明してくださいました。
選択肢は 2 つしかありませんでした。

自動化の原則を曲げて IAM キーを手動で作成し、Transloadit Console に手作業でコピーする方法があります。ただ、このプロセス自体が、シークレットへのアクセスを必要とする人を増やすうえ、さらに多くの人の目に触れさせることになります。どちらも望ましくありません。
もう 1 つは、Terraform で Template を生成する際にシークレットを埋め込む方法です。自動化は維持できますが、シークレットが平文で保存されるため、Template の定義を閲覧できる人は誰でもシークレットを見ることができます。わざわざ見ようとしなければ目に入らないものの、閲覧できることに変わりはありません。
どちらも理想的な方法ではありません。そこで Bryan さんの意見を取り入れ、この煩雑なシークレットの受け渡しを避けるために、/template_credentials API エンドポイントを導入することにしました。Bryan さんが思い描いていた流れは、次のようなものでした。
私が通常使っているパターンでは、IAM キーなどのシークレットを Terraform で生成し、それを必要な場所に直接保存します。たとえば、私たちの CI 変数や、今回の場合は新しい Transloadit Template です。Terraform での IAM キー生成に伴うリスクを軽減するため、Terraform の状態は安全なリモートの場所に保存し、アクセスするだけでも特別な権限が必要になるように設定しています。
エンドポイントの導入後は、どのお客様も API に HTTP リクエストを送信して、認証情報を自動的にプロビジョニングできるようになりました。さらに Bryan さんのユースケースに対応するため、リードメンテナーの Etienne Carriere さんに、Transloadit Terraform Provider Plugin でもこのエンドポイントをサポートするよう依頼しました。
Terraform では、望ましい Transloadit の設定をローカルで定義し、Git で管理します。アプリのコードと同じように、チームで変更を重ね、ロールバックすることもできます。Terraform を実行すると、現在の Transloadit の設定と望ましい設定の差分が表示され、現在の Transloadit の設定を望ましい状態に合わせるために必要な変更が提案されます。
これにより、人為的ミスや Transloadit のデータ損失など、現代の IT 運用を悩ませるさまざまな問題による設定のずれを防げます。かつて、FTP でサーバーのディスク上のウェブサイトを直接管理していた方法から、Git と CI/CD の利用へと移行したことにも似ています。
Terraform でのプロビジョニング
Transloadit と Terraform を組み合わせたい_理由_がわかったところで、基本的なインフラストラクチャを構築する例を見てみましょう。
provider "aws" {
region = "us-east-1"
}
provider "transloadit" {}
resource "aws_iam_user" "transloadit" {
name = "transloadit"
}
resource "aws_iam_access_key" "transloadit" {
user = aws_iam_user.transloadit.name
}
resource "transloadit_template_credential" "s3_credentials" {
name = "my-terreaform-credentials"
type = "s3"
content = jsonencode({
bucket = "uploads-bucket"
bucket_region = "us-east-1"
key = aws_iam_access_key.transloadit.id
secret = aws_iam_access_key.transloadit.secret
})
}
resource "transloadit_template" "my-terraform-template" {
name = "my-terraform-template"
template =
{
"steps": {
":original": {
"robot": "/upload/handle"
},
"exported": {
"use": [ ":original" ],
"credentials": "${transloadit_template_credential.s3_credentials.name}",
"robot": "/s3/store"
}
}
}
}
サンプルコードでは、Transloadit と AWS の 2 つのプロバイダーを定義しています。これらを使って、aws_iam_user と
aws_iam_access_key の 2 つのリソースを作成します。これらは AWS IAM ユーザーを表し、そこから S3 のキーとシークレットにアクセスできます。キーは transloadit_template_credential リソースで共有します。このリソースには、Template 認証情報の名前、認証情報の種類、AWS IAM ユーザーから取得した実際のキーとシークレットを渡します。種類はこの例では S3 ですが、ほかにも多数の連携先サードパーティーに対応しています。
このパターンの主な利点は、Hashicorp Vault などの暗号化ストレージと連携できることです。IAM キーはデフォルトでは平文で保存されるため、この連携によって Terraform の状態を安全に保存できます。
あとは、実行する Templateを定義するリソースを指定すれば、準備完了です。
パラメーターの詳細は、Terraform プラグインのドキュメントをご覧ください。認証情報のプラットフォーム固有のパラメーターについては、各種ファイルインポートおよびファイルエクスポート用の Robotのドキュメントを参照してください。
初回は、想定どおりに動作したことを Transloadit Console で確認してみてください。連携に使える状態になった、新しい S3 認証情報が表示されるはずです。

Transloadit を変える力は皆さんの手に
ささやかな機能リクエストから始まったこの取り組みは、1 か月足らずで API の一部になりました。17 年前の創業当初と同じ俊敏さを今も保っていることを、とても誇りに思います。さらに、お客様が Transloadit の未来に継続的に影響を与えていることを示す機会になったことも、うれしく思っています。現在のワークフローを改善できることがあれば、どうぞ遠慮なくお知らせください。今回の事例が、その後押しになれば幸いです。一見シンプルな機能リクエストでも、Transloadit に長く続く影響をもたらすことがあります。
