画像生成とは?
画像生成は、手続き的なルール、シミュレーション、テキスト、例、3D シーン、学習済みモデルから視覚コンテンツを生成する処理です。出力には、指定されたシーンの描写、既存画像の拡張、新たなバリエーションの作成などがあります。
画像生成の仕組み
画像生成では、既存の撮影画像を選ぶだけでなく、制御可能な指定に基づいてピクセルを構築します。レンダラーはシーンのジオメトリ、マテリアル、照明、カメラを評価し、手続き型システムはルールを評価します。学習済みの生成器は、テキスト、画像、マスクなどのシグナルを条件としてモデルからサンプリングします。リアルタイム手法では遅延を一定範囲内に抑えることを優先しますが、オフライン制作では結果ごとにより多くの計算量を割けます。生成されたフレームは、レビュー、合成、来歴情報の処理、配信用エンコードに先立ってワークフローに取り込まれます。
要点
- 物理ベースレンダリングは、明示的に定義されたシーンから光の伝搬を近似します。一方、生成モデルは、検査可能な幾何学的シーンがなくても、もっともらしいピクセルを生成できます。
- 乱数シードの固定は再現性の確保に役立ちますが、同一の出力を得られるかどうかは、モデル、サンプラー、ソフトウェアのバージョン、数値精度、実行プラットフォームにも左右されます。
- ラベル付きの合成シーンでは、生成器からマスク、深度、ポーズを直接取得できます。ただし、シミュレーション画像と実写画像の差によって、モデルの転用が制限される場合があります。
画像生成が重要になる場面
必要な制御性、写実性、再現性、ライセンス上の制約に応じて、画像生成の手法を選んでください。生成画像には構造上の誤りや根拠のない細部が含まれる場合があるため、重大な影響を伴う用途では検証が必要です。