コンテンツに応じた切り抜きで被写体をフレーム内に保持
一枚の写真から横長のバナー、正方形のサムネイル、縦長のストーリーを作るとき、中央を基準に切り抜くと、見せたい被写体そのものが切れてしまうことがよくあります。本日から、🤖 /image/resize Robot で画像内の最も目を引く部分を見つけ、その周囲を切り抜けるようになりました。gravity を attention または entropy に設定すると、幾何学的な中心ではなく、被写体を基準に切り抜きます。
中央基準の切り抜きでは不十分な理由
多くのサイトでは、同じ画像を複数の形状で使います。fillcrop リサイズ方式では、Robot が指定サイズを覆うまで画像を拡大縮小し、はみ出した部分を切り落とします。これまでは、gravity で top や bottom-right などを指定し、残す部分を選んでいました。カタログ内の画像がすべて同じ構図なら、この方法で対応できます。しかし、ユーザーのアップロード、マーケットプレイスの商品画像、撮影者の異なる写真では、被写体の位置が一定でないため、うまくいきません。
砂漠のデモ写真を例に見てみます。広い星空の下、画像の下側 3 分の 1 にキャンプ場があります。

中央を基準に 1200×400 のバナーに切り抜くと、空が大部分を占め、キャンプ場が下端で切れてしまいます。

Robot に切り抜き位置を任せる
次は、同じ Step で gravity を attention に設定した結果です。Robot が最も視線を集めそうな領域を探し、フレーム内に収めます。

次の二つの方式から選べます。
attentionは、輝度の変化が細かい領域、彩度の高い領域、肌色の領域を優先します。この例では、その基準で明かりのともったキャンプ場が選ばれました。entropyは、シャノンエントロピーで測定した視覚情報量が最も多い領域を残します。砂漠の写真では、こちらもキャンプ場がフレーム内に収まり、その上の空が少し多く残りました。
どちらの方式も、同じリサイズ処理の中で実行されます。追加の Step、機械学習モデル、画像ごとの座標リストは必要ありません。
試す
この Assembly Instructions は、デモ写真をインポートして、上のバナーに変換します。
{
"steps": {
"imported": {
"robot": "/http/import",
"url": "https://demos.transloadit.com/inputs/desert.jpg"
},
"banner": {
"robot": "/image/resize",
"use": "imported",
"width": 1200,
"height": 400,
"resize_strategy": "fillcrop",
"gravity": "attention"
}
}
}
同じディレクトリに、次の短いスクリプトを保存してください。当社の Node.js SDK で Assembly を実行し、各結果を出力します。
import { readFile } from 'node:fs/promises'
import { Transloadit } from '@transloadit/node'
const client = new Transloadit({
authKey: process.env.TRANSLOADIT_KEY,
authSecret: process.env.TRANSLOADIT_SECRET,
})
const params = JSON.parse(await readFile('crop.json', 'utf8'))
const assembly = await client.createAssembly({ params, waitForCompletion: true })
for (const [step, files] of Object.entries(assembly.results)) {
for (const file of files) {
console.log(step, `${file.meta.width}x${file.meta.height}`, file.ssl_url)
}
}
SDK をインストールし、認証情報を追加して実行してください。
npm install @transloadit/node
export TRANSLOADIT_KEY=MY_AUTH_KEY
export TRANSLOADIT_SECRET=MY_SECRET_KEY
node crop.mjs
$ node crop.mjs
banner 1200x400 https://…/09dbfdd3….jpg
attention をデフォルト値の center に変更して再実行すると、先ほどの中央基準の切り抜き結果が得られます。デモファイルではなくユーザーのアップロードを切り抜くには、Template 内の /http/import Step を
:original に置き換えてください。さらに、正方形のサムネイルや 9:16 のストーリーなど、形式ごとに Step を追加し、それぞれに width、height、gravity を設定できます。
中央基準の切り抜きになる場合
次の点に注意してください。
fillcropと組み合わせて使用してください。attentionとentropyは、Robot がサイズに合わせて画像を切り抜く際に、残す部分を選びます。resize_strategy: "crop"では、代わりに座標を明示的に指定します。- 一部のオプションや形式では別のエンジンを使用します。 Robot の一部の機能は
ImageMagick で処理され、その場合、
attentionとentropyは中央基準の切り抜きにフォールバックします。当社のテストでは、sepia、textオーバーレイ、HEIC 入力でこの動作を確認しました。clut、monochrome、blur_regionsなど、ImageMagick 専用のほかのオプションや、JPEG、PNG、WebP、GIF、TIFF、JPEG XL、SVG 以外の入力形式でも同様です。この場合、Assembly Status に Step 名を含む警告が表示されるため、結果から確認できます。処理を複数の Step に分けることで回避できます。まず HEIC を JPEG に変換し、次にattentionで切り抜き、最後に切り抜き結果を使う/image/resizeStep でテキストや効果を追加してください。 - ヒューリスティックであり、物体検出ではありません。
attentionは、写真に何が写っているかではなく、細部、彩度、肌色を評価します。当社のカメレオンのデモ写真を 9:16 のストーリー用に切り抜いたところ、中央基準(左)では目が残りましたが、attention(右)ではその隣の日光が当たる葉が選ばれました。

カタログ全体を切り替える前に、実際に使う画像の一部で両方の方式を試してください。人物写真が中心なら、🤖 /image/facedetect Robot で検出した顔を中心に切り抜けます。各オプションについては、新しい「faces」パラメーターの紹介で解説しています。
利用を始める
コンテンツに応じた切り抜きは、/image/resize Robot ですでに利用でき、通常のリサイズと同じ料金体系が適用されます。指定できるすべての値は、gravity のドキュメントに掲載しています。まだアカウントがなければ、無料で登録して、数分で上の例を実行できます。お使いの画像について質問があれば、お問い合わせください。
