ロケハン3Dの中村です。
以前、渋谷の3DGSから切り出した画像をGPTで仕上げたところ、狙っていた写真らしい見た目になりました。
この質感を、カメラが動く動画にも持ち込めないか。
今回は静止画の仕上げから始めて、Kling、Wan、Seedance、Alephで試しています。
画像と動画には、それぞれ生成にかかった価格を添えています。
Runwayの追加購入単価でUSドルに換算した金額で、月額料金や撮影・作業費は含みません。
01 静止画を仕上げる
まずは、同じ3DGS画像をNano BananaとSeedreamで仕上げます。
指示はどちらも「晴れた真昼の建築写真」。
モデルによって、明るさや質感だけでなく、構図がどのくらい変わるかも見ていきます。
出力の縦横比はそれぞれの設定による違いがあります。
共通の入力
きっかけになったGPTの画像
当時の個別料金は記録していません。
Nano Banana Pro
US$0.20相当
Seedream 5.0 Pro
US$0.09相当
この一枚では、Nano Bananaの明るさと写真らしい材質が印象的です。
Seedreamは元の画角に近いものの、もう少し仕上げたくなる暗さが残りました。
ただ、どちらも看板や建物の細部は描き直しています。
見栄えの良さと、元の場所をどこまで残すかは、別々に見た方がよさそうです。
静止画を横並びで確認
US$0.20相当
US$0.09相当
02 Klingで動画にする
次に、この2枚をKling 3.0 Proで動かしてみます。
どちらも3秒の前進を指示しました。
Seedreamの画像は、中央を16:9に切り出して使っています。
Nano Banana画像から
Seedream画像から
静止画の写真らしさは、動画にもつながっています。
気になるのは、黒かった広告画面に人物や広告が現れること。
街の雰囲気を作るには使えても、実在する看板までそのまま動かしたい場合は、ここが引っかかります。
横並びで確認
画像＋動画：左 US$0.56／右 US$0.45相当
03 回り込みを比較する
前進だけでなく、建物を少し横から見る動きも試します。
BlenderのLCC2_DIRECTで、3秒かけて6度回り込むFHD動画を用意しました。
追加のライトは使わず、3DGSに記録された色で描画しています。
ここからは、このカメラと動画が比較の出発点です。
Wan 3.0
Wan 3.0には、先頭の一枚だけを渡す場合と、3DGS動画を丸ごと渡す場合を比べました。
文章の指示と、FHD・3秒の設定は揃えています。
先頭画像のみ
US$0.60相当
3DGS動画を参照
US$0.60相当
どちらもUS$0.60相当
Seedance 2.5
Seedance 2.5では、元動画に「仕上がりの見本」を添えるとどう変わるかを見ます。
同じ動画と指示で、Seedreamの補助画像がない場合と、ある場合を生成しました。
指定はFHD・4秒で、最初の3秒は元の動き、最後の1秒は停止です。
補助画像
US$0.09相当
3DGS動画のみ
US$3.74相当
3DGS動画＋Seedream補助画像
画像＋動画：US$3.83相当
補助画像の効果は、ポスターを見ると分かりやすいです。
動画だけでは消えた絵柄が、画像を添えると残りました。
ただ、右側には元の先頭画像になかったSTARBUCKSの文字も現れています。
仕上がりの方向は伝わっていても、細部まで固定する指示としては働いていないようです。
左 US$3.74／右 US$3.83相当（右は画像込み）
WanとSeedanceを見比べる
左 US$0.60／右 US$3.83相当
並べると、Seedance＋補助画像の晴天らしい光と材質が目を引きます。
ここではモデルだけでなく、補助画像や文章、指定した長さも違います。
「どのモデルが一番か」というより、素材の渡し方も含めて、どの組み合わせで狙った見た目に近づけるかを見る比較です。
元動画を渡せば、カメラも同じになる？
動画を参照させると、静止画一枚より元の動きに近づきました。
それでも、同じ時刻で止めると建物の位置や形がずれます。
今回渡しているのはレンダーした画像列で、Blenderのカメラデータそのものではありません。
3DGSで決めたカメラを、そのまま生成結果へ持ち込めるわけではない点は、合成を考えると大きな課題です。
ここまでと次のAlephを合わせた生成費は、US$10.62相当でした。
FHD比較から外したEditの試行も含めるとUS$12.27相当です。
同じ動画の再掲は重ねて数えず、以前のGPT画像と記事外の試行は含めていません。
Seedanceの生成条件
Seedanceは各条件を1回ずつ生成しました。
原動画はどちらもFHD・約4秒で、色補正やAIアップスケールはしていません。
Wanとの比較動画は、再生速度を変えずに最初の3秒を揃えています。
先に試したEditは720pだったため、ここには並べていません。
料金と比較動画について
生成にはRunwayを使い、料金は実際の残高差から換算しています。
横並びの動画は、生成結果を比較用に編集したものです。
元動画と生成結果でフレームレートが違うため、比較版ではフレームを選択・重複して再生時間を揃えました。
現在の料金はRunwayの料金表をご覧ください。
04 仕上がりを画像で決めて、動画へつなぐ
今回、手応えがあったのは、Seedreamで仕上がりの画像を作り、元の3DGS動画と一緒に渡す方法です。
動画だけで見た目まで指示するより、目指す光や材質を一枚で示せます。
この組み合わせを、最後にAlephでも試しました。
SeedanceとAleph、仕上がりと費用を見る
Seedanceでは、補助画像を添えたことで晴天の質感とポスターの残り方が良くなりました。
費用は画像込みで約4秒がUS$3.83相当。
次のAlephは3秒でUS$0.93相当です。
長さや生成条件が違うので、価格だけで決めず、看板や窓の変わり方も見比べたいところです。
CGと合わせるときに気になること
写真らしく見えても、CGを重ねるときにはカメラや建物のずれが問題になります。
また、FHDという出力サイズだけでは細部の鮮明さは分かりません。
小さな文字や窓枠を見ると、まだ解像感が欲しくなります。
光の扱いにも注意が必要です。
3DGSには撮影時の影が色として残っているので、後からライトを足すだけでは、影の向きまで変えられません。
今回の動画にCGを加えるなら、まず背景の太陽や露出に合わせ、接地と影を詰めていくことになります。
そこは、今回の生成から先の作業です。
Seedreamの画像をAlephで動画へ
Seedreamで仕上げた画像を先頭フレームとして登録し、Aleph 2.0 Edit Studioに元の3DGS動画を渡しました。
下は、生成されたFHD・3秒の動画です。
追加の色補正やAIアップスケールはしていません。
画像＋動画：US$0.93相当（動画のみUS$0.84）
晴れた路面やガラスの見え方が加わり、元の3DGSから写真に近づいた感触があります。
DMMの大きなポスターも残りました。
ただ、寄って見ると顔や小さな文字は別の描き方になっていて、回り込みにも元動画とのずれがあります。
一枚の仕上がりを動画へ広げる手段としては手応えがありますが、ロケ地をそのまま使うには、この細部をどう残すかが次の課題です。
Alephの生成メモ
今回は既存クレジットを使い、動画にUS$0.84相当かかりました。
Seedreamの画像は前の比較で作ったものを再利用しています。
画像代のUS$0.09相当を含め、1本の工程としてはUS$0.93相当です。
