画像の顔検出に新登場した「faces」パラメーター

/image/facedetect
Robot をブログで取り上げるのは久しぶりです。最新の faces パラメーターが登場した今こそ、紹介する絶好の機会です。
/image/facedetect Robot は、画像内の顔の位置を自動で特定し、座標を返したり、複数の顔をまとめて切り抜いたり、検出した顔ごとに新しい画像を作成したりします。

新しいパラメーターの機能紹介
この更新以前は、/image/facedetect Robot は検出した顔をすべて個別に切り抜いていました。たとえば、五人の顔が写った画像からは、それぞれ一人の顔が写った小さな画像が五枚生成されます。
この機能は今も利用でき、とても役立っていますが、これだけでは対応しきれない場面もあります。Robot のこうした制約を補うのが、新しい
faces パラメーターです。入力画像の特定の属性に基づいて、切り抜く顔を制御できます。
以下のデモでは、Unsplash で見つけた無料の画像を使用します。
新しいパラメーター値の紹介
新しいパラメーターを試すために Python で作成したスクリプトを紹介します。
# pip install pytransloadit
from transloadit import client
tl = client.Transloadit('YOUR_TRANSLOADIT_KEY', 'YOUR_TRANSLOADIT_SECRET')
assembly = tl.new_assembly()
assembly.add_file(open("test.jpg", "rb"))
assembly.add_step("face-detect", "/image/facedetect", { "crop": True, "faces": "each"} )
# Start the Assembly
response = assembly.create(wait=True)
result_url = response.data.get('results').get('face-detect')
print("Your result:", result_url) #returns a url containing the result of the program
上のプログラムでは、次の画像を入力に使用します。

YOUR_TRANSLOADIT_KEY と YOUR_TRANSLOADIT_SECRET は、必ず実際のアカウントのキーに置き換えてください。キーはアカウントの API 設定 で確認できます。
以下の例では、faces パラメーターの値を変更した部分、つまり 8 行目だけを示します。
値:"group"
これは今回新たに追加された機能です。group は、画像内の顔の位置を特定し、それらを一つにまとめます。
assembly.add_step("face-detect", "/image/facedetect", { "crop": True, "faces": "group"} )
実行すると、次の結果が得られます。

値:"each"
これは従来の動作モードで、デフォルトでもあります。"each" は、すべての顔を個別に返します。学校の集合写真から多数のアバターを切り抜いたり、画像にいくつの顔が写っているかを簡単に調べたりするのに役立ちます。
assembly.add_step("face-detect", "/image/facedetect", { "crop": True, "faces": "each"} )
実行すると、次の結果が得られます。

値:"max-confidence"
三つ目は、faces に "max-confidence" を設定した場合の動作です。入力画像から、信頼度スコアが最も高い顔を一つ出力します。このスコアは内部でニューラルネットワークを使って算出され、検出された領域に実際に顔が含まれている確かさを示します。アバターを自動で切り抜くのに役立ちます。
assembly.add_step("face-detect", "/image/facedetect", { "crop": True, "faces": "max-confidence"} )
実行すると、次の結果が得られます。

値:"max-size"
四つ目の値は "max-size" です。検出した顔のうち面積が最大のものを判定し、その結果を出力します。画像内で大きく写っている顔を抽出しますが、必ずしも信頼度スコアが最も高い顔とは限りません。
assembly.add_step("face-detect", "/image/facedetect", { "crop": True, "faces": "max-size"} )
実行すると、次の結果が得られます。

値:整数
五つ目となる最後の値には、任意の整数を指定します。画像内の顔は左上を起点に並べられ、そのインデックスで顔を選択します。エンドユーザーに二段階で顔を選んでもらう場合に便利です。また、写真の左から二人目を選ぶ場合は、インデックスがゼロから始まるため、1 を指定します。
assembly.add_step("face-detect", "/image/facedetect", { "crop": True, "faces": 1} )
実行すると、次の結果が得られます。

以上で、/image/facedetect Robot の新しい faces パラメーターの紹介を終わります。これらの新機能をほかのすべての Robot や機能と組み合わせて、どのようなものを作っていただけるのか、楽しみにしています。