Tech preview:メディア処理を強化する新しい AI Robot
過去の料金に関する注記:この記事の公開時点では、現在 Pro と表示されているプランは Startup という名称でした。以下の価格、利用枠、プロモーションは、その当時の提供内容を示しています。現在のプランについては、現在の料金をご覧ください。
Tech Preview として、新しい AI bot のラインアップを公開できることをうれしく思います。すでに 1 つの AI Robot を本番環境で提供してきました。それが/image/facedetectです。これは社内ソフトウェアで動作しており、その性能にも手応えを感じています。今回発表する bot は、それとは異なり、外部のクラウドサービスを利用して動作します。
The Big Fiveが進める AI の進化は、もはや見逃せないものになっています。事実上ほぼ無制限のデータにアクセスできるため、比類のない精度を実現するモデルを学習できます。こうした AI 機能をエンコードパイプラインに直接組み込めれば、メディア処理の自動化をさらに進めたいお客様に大きな価値を提供できると考えました。
Google Cloud Platform (GCP)と Amazon Web Services (AWS)の AI 提供内容を調査・整理し、機能の重なりを把握するためにベン図も作成しました。

私たちの考えは、各プロバイダーに共通する機能の上に抽象化レイヤーを提供することでした。つまり、単一の API で、たとえばいずれかのプロバイダーの画像認識機能を利用し、統一されたレスポンスを受け取れます。プロバイダーの切り替えは、provider: 'aws'またはprovider: 'gcp'を指定するだけで済みます。
なぜ Transloadit がこれをラップするのか
Transloadit が AI プロバイダー自身の価格に勝つ、あるいは同等にすることはできません。そのため、大量のデータを処理する必要がある場合は、GCP や AWS に直接統合することも検討してください。
一方で、ユースケースが 1 バイトごとのコスト最適化を最優先にするものでなければ、Transloadit と組み合わせてこれらの AI サービスを使う理由は 4 つあります。
1. LEGO のような高い合成性
既存のエンコードパイプラインに AI を追加し、98 個の機能(Robot)と組み合わせることで、ビジネスに固有のワークフローを構築できます。これらをつなぐための命令的なボイラープレートコードを書く必要はありません。そうしたコードは、構成要素や障害点を増やす原因になります。
Transloadit は、単一の決定論的な JSON レシピで扱える統合ソリューションを提供します。20 行の宣言的な処理設定があれば、Transloadit に動画を次の Robotへ順に通すよう指示できます。
- /speech/transcribe:動画を人が読めるテキストに変換
- /text/translate:そのテキストを日本語に翻訳
- /text/speak:日本語を音声に合成
- /video/merge:新しい日本語音声をオーディオトラックとして元の動画に重ねて結合
つまり、Transloadit に動画を自動翻訳させられるということです 😄 おそらくまだ本番運用に耐えるものではありませんが、これは私たちの Assembly がどれだけ強力かをよく示しています。宣言的な合成性のコードサンプルは、この先で紹介します。
2. AI プロバイダーの比較と切り替えが簡単
各ベンダーは、言語の表記方法(翻訳時)、レスポンス構造、ドキュメント、SDK、フォーマット、設定などがそれぞれ異なります。
Transloadit はそれらを抽象化し、プロバイダーに関係なく、統一された入力を受け取り、統一された出力を返します。
Amazon を使った後でも、providerパラメーター以外は何も変えずに、同じ画像を Google がどう説明するか確認できます。これにより、アプリ内で結果やレイテンシーを簡単に比較し、ユースケースに最も適したものを見極められます。そして、その判断はもちろん将来変わる可能性があります。こうした AI は大半のケースに対して継続的に学習・改善されますが、お客様の顧客の 1 人が不運にも少数派のケースに当てはまるなら、すぐに切り替えを提案できます。
3. ベンダー数を減らせる可能性
次のいずれかに当てはまる場合です。
- すでにメディア処理で Transloadit を利用している
- AI 機能を探しているが、それに加えて画像最適化、自動エンコード、またはそのほかの98 個の機能も活用したい
この場合、さらに別のプロバイダーを統合する手間を省けます。構成要素が増えることによるエンジニアリングコストにはすでに触れましたが、考慮すべき請求体系の違い、監視すべき SLA、対応すべきサポート窓口もあります。
4. 手間いらず 💆♀️
入力は自動でサニタイズし、クリーンアップします。たとえば AWS は文字起こし対象として任意の音声ファイルを受け付けますが、Google では設定によって、符号付き 16-bit、1-channel、little-endian エンコーディングの PCM 形式が必要になります。Transloadit なら、任意の音声(あるいは動画)をそのまま渡すだけで、選択した AI プロバイダーが必要とする形式へ変換されるようにします。
本日公開する機能
本日、Tech Preview として 2 つの Robot を公開します。

/image/describe Robotです。画像を入力すると、検出したオブジェクトの一覧を返します。Tree、Car、Houseなどです。返却形式はテキストファイルや JSON ファイルを選べるほか、別の
Robot に渡して処理することもできます。代表的なユースケースには、不適切または適切なコンテンツの自動フラグ付け、画像へのaltキャプション付与、画像の検索可能化などがあります。

/speech/transcribe Robotです。音声または動画の録音を入力すると、人が読めるテキストを返します。返却形式はテキストファイルや JSON ファイルを選べるほか、別の Robot に渡して処理することもできます。代表的なユースケースには、自動字幕生成や、音声・動画の検索可能化があります。
これらとあわせて、次の機能強化も公開します。

/file/filter Robotです。ファイルと条件を渡すと、この Robot がゲートキーパーとして機能し、必要に応じてエクスポートのような別の Step にファイルを渡します。今回の変更で、新たに includes 演算子も受け取れるようになりました。
新しく追加した includes 演算子により、不要なコンテンツを次のように自動で拒否(またはフラグ付け)できるようになります。
{
"steps": {
"described": {
"use": ":original",
"robot": "/image/describe",
"provider": "aws",
"format": "meta",
"granularity": "list"
},
"filtered": {
"use": "described",
"robot": "/file/filter",
"declines": [
[ "${file.meta.descriptions}", "includes", [ "Naked", "Sex" ] ]
]
},
"exported": {
"use": "filtered",
"robot": "/s3/store",
"credentials": "YOUR_AWS_CREDENTIALS"
}
}
}
中古車販売サイトで、車の画像だけを許可したいとします。さらに、Google の画像認識を使いたいなら、変更するのは次の 3 つだけです。
"declines"を"accepts"に変更[ "Naked", "Sex" ]を[ "Car", "Tires" ]に変更"provider": "aws"を"provider": "gcp"に変更
これだけです! ✨
この先では、/image/describe Robot の完全なコードサンプルも紹介します。あわせて、/speech/transcribe と /image/facedetect Robot のデモへのリンクも掲載しています。
今後予定している AI 機能
本日 Tech Preview として公開した 2 つの Robot に加えて、ベン図の検討から、次の機能も構築すべきだと分かりました。
- /image/ocr:画像を入力すると、名前や交通標識のように画像上にある人が読める文字を返す
- /document/ocr:PDF を入力すると、そこに含まれる人が読める文字を返す。まだ検索できない文書を検索可能にできる
- /text/translate:人が読めるテキストを入力すると、別の言語に変換して返す
- /text/speak:人が読めるテキストを入力すると、合成音声を録音した音声ファイルを返す
この一覧に足りないものはありますか。追加の提案はいつでも歓迎します。
料金はどうなりますか?
これらの Robot を通過する入力バイト数と出力バイト数を計測し、通常の Transloadit プランから差し引きます。追加のサブスクリプションは不要です。ただし、トランザクションごとに 1 MB の最低料金があります。たとえば 100 KB の画像を送信し、2 KB のテキストファイルが返された場合、合計は 102 KB でも、プランからは 1 MB を差し引きます。Pro プラン($49/mo で 10 GB)の場合は $0.0049、Medium Business プランでは $0.00166 です。詳しくは料金ページをご覧ください。
Microsoft Azure のような他のプロバイダーはどうですか?
ここには、今すぐ Tech Preview として提供を始めるだけの価値があると考えています。プロバイダーは抽象化しているため、単一の提供元に依存していません。したがって、GCP が 2023 年に終了したらどうするのか(もちろん冗談です。たぶん!)という場合でも、あるいは AWS が私たち向けに値上げしたとしても、選択肢はあります。プロバイダーを切り替えても、統合はそのまま維持されます。実際、Microsoft Azure の追加も検討しています。

また、/image/facedetect AI
Robot を私たち自身で動かしているのと同じように、将来、高品質な文字起こし AI を自前で運用することが現実的になれば、provider: 'transloadit' を
/speech/transcribe Robot に追加し、より低価格で提供することもあるかもしれません。
「tech preview」とは何ですか?
この技術を今日から使い始められる、という意味です。API や料金は今後変更する可能性がありますが、機能追加以外の変更は現時点では見込んでいません。
どう始めればよいですか?
サインアップしたら、好きなプログラミング言語を選んで統合を始めましょう。難しそうに思えるでしょうか。では、デモを見てみましょう。
<!-- This pulls Uppy from our CDN -->
<!-- For smaller self-hosted bundles, install Uppy and plugins manually: -->
<!-- npm i --save @uppy/core @uppy/dashboard @uppy/remote-sources @uppy/transloadit ... -->
<link
href="https://releases.transloadit.com/uppy/v6.0.6/uppy.min.css"
rel="stylesheet"
/>
<button id="browse">Select Files</button>
<script type="module">
import {
Uppy,
Dashboard,
ImageEditor,
RemoteSources,
Transloadit,
} from 'https://releases.transloadit.com/uppy/v6.0.6/uppy.min.mjs'
const uppy = new Uppy()
.use(Transloadit, {
waitForEncoding: true,
alwaysRunAssembly: true,
assemblyOptions: {
params: {
// It's often better store encoding instructions in your account
// and use a `template_id` instead of adding these steps inline
steps: {
':original': {
robot: '/upload/handle',
},
described: {
use: ':original',
robot: '/image/describe',
result: true,
format: 'meta',
granularity: 'list',
provider: 'aws',
},
filtered: {
use: 'described',
robot: '/file/filter',
result: true,
accepts: [['${file.meta.descriptions}', 'includes', 'Building']],
},
exported: {
use: 'filtered',
robot: '/s3/store',
credentials: 'demo_s3_credentials',
url_prefix: 'https://demos.transloadit.com/',
},
},
},
},
})
.use(Dashboard, { trigger: '#browse' })
.use(ImageEditor, { target: Dashboard })
.use(RemoteSources, {
companionUrl: 'https://api2.transloadit.com/companion',
})
.on('complete', ({ transloadit }) => {
// Due to `waitForEncoding:true` this is fired after encoding is done.
// Alternatively, set `waitForEncoding` to `false` and provide a `notify_url`
console.log(transloadit) // Array of Assembly Statuses
for (const assembly of transloadit) {
console.log(assembly.results) // Array of all encoding results
}
})
.on('error', (error) => {
console.error(error)
})
</script>
ここでは 2 枚の写真をアップロードします。そのうち 1 枚には橋が写っています。

described Step の結果にある
meta.descriptions を確認すると、次のようになります。
[ 'Water',
'Outdoors',
'Bridge',
'Building',
'Canal',
'Castle',
'Architecture',
'Fort' ]
https://demos.transloadit.com/53/fae6219071430cb7b794cf9f3513c2/prinsengracht.jpg
'Building' を含む写真だけが通過を許可されるため、カメレオンの写真は
S3 の適切な場所にも保存されません。
このような場合は、次の対応を選べます。
- 穏やかに無視する
- 明示的にエラーにする
- 認識できなかった画像を、
./flagged-for-review/のような別ディレクトリーを使うエクスポート Step に流す
主要なプラットフォーム向けコードサンプル付きの、関連する AI デモも紹介します。
ドキュメント
これらの Robot は現時点ではまだ Tech Preview のため、実装が変更される可能性はありますが、すでに初期版ドキュメントを用意しています。
お楽しみください
フィードバックに基づいて、この投稿やドキュメント、そして bot の仕組みをさらに充実させていく予定です。ぜひ下のコメント欄、または Twitterでご意見をお寄せください。
