3DGSスキャンからAIで
背景制作を行う

01 作ったものと進め方

3DGSは見た目をそのまま残せますが、照明を変えたり、岩や木を1つずつ動かしたりはできません。
そこで、3DGSを見本にして、同じ森を物ごとに分かれた3Dシーンとして作り直しました。

制作はClaudeとCodexに任せ、BlenderとUE5を動かすスクリプトを書いてもらいました。
岩、木、地面などの担当を分け、作った担当とは別の担当が、比較画像を見て点数を付けます。
私は出てきた画像を見て、次に直す場所と優先順位を指示します。
この進め方と、これまでの失敗は、自社の手順書にまとめて次のシーンでも使っています。

02 スキャンから形と位置を読み取る

まずK2で現地を歩いてスキャンし、3DGSにします。
LCC4UnrealでUE5へ読み込み、完成形を比べる基準としてシーンの中に置きます。

次に、スキャンから形と位置のデータを取り出します。
取り出したのは、地形の高さ、岩161個の位置と大きさ、木22本の位置、植物約10万5千株の配置です。

03 地形から順に積む

読み取ったデータから、層ごとにシーンを生成します。
同じカメラで3DGSから切り替えると、どの層が何を担当しているかを確認できます。

地形

スキャンの地面の高さから、穴のない1枚の地形を作ります。
データがない岩の下や隙間は、周囲の高さから補います。

地面と遠景

地面の肌を作り、落ち葉や小枝を配置します。
奥の斜面には、スキャンの表面を使っています。

岩と根

岩は、スキャンの位置と形から起こします。

木道

木道は、写真から測った板の位置に合わせて、1枚ずつ別の板として作ります。

木

幹の位置と太さをスキャンに当てはめて、木を立てます。

植物と水

最後に、読み取った配置へ植物を置き、川と滝の水を入れます。

04 岩・木・木道・草を整える

全体が揃ったら、部品ごとに作り込みます。

岩

スキャンから起こした岩は、161個のうち138個で底が開いていました。
このままだと隙間から空が見えるので、底を閉じて地面の下まで延ばします。
表面の苔と岩肌は、写真素材をもとにBlenderで層を重ねて焼き込みます。

幹と枝葉

樹皮の色は22種類を用意し、7つの撮影位置の写真に合わせます。
葉には光が透ける材質を設定します。

木道の板

板には1枚ずつ、わずかな反りとねじれを付けます。

草の接地

配置した約13万5千株をシーンと照合し、浮いている3,544株を下ろすか移動します。

05 川と滝を作る

川は、Blenderで計算した流速に沿って水面を流します。
流れの速い場所には白い泡を出します。

滝は、岩壁のスキャンに水を落とすシミュレーションを行います。
計算結果をそのまま使うと見た目が崩れたので、結果をもとに水の帯へ置き換えています。

06 色・凹凸・光を分けて確認する

完成画だけを見ていると、原因が色なのか、形なのか、光なのかが分かりません。
そこで同じカメラのまま、色・凹凸・光に分けて確認し、原因のある所を直します。

光はPoly Havenの曇天HDRIと太陽で作り、Lumenで描いてAgXで仕上げます。

07 K2の写真と同じ位置で比べる

K2の生データには、3DGSより鮮明な写真が入っています。
1,032枚の写真の位置を3DGSに合わせ、同じ位置からUE5で描いて比べます。

K2の写真とUE5の画を並べています。
UE5側には全体の色味を整える補正をかけています。
この比較では、物の位置と大きさの差を探します。

08 3DGSと重ねて、隙間を数える

3DGSとも、同じカメラで重ねて比べます。

見た目で見つけにくい問題は、数えて直します。
たとえば、岩や地面の隙間から見える空の色のピクセルを、視点ごとに数えます。
確認用の20視点で、24,540ピクセルあった隙間が0になるまで修正しました。

09 残っている差

位置と大きさは写真に近づきましたが、すべてが一致しているわけではありません。
上の6か所は、試した12か所のうち比較的合っているものを選んでいます。
合っていない場所の例が、次の画です。

• 岩と水の流れの形：草に覆われた大きな岩と、その脇の水の流れは、写真と形が違います。橋の上の苔も再現できていません。
• 植物の種類と量：配置はスキャンから取っていますが、1株ずつの種類や形までは合わせきれていません。
• 色と明るさ：光の入り方は写真と揃っておらず、地面は写真より明るく見える場所があります。

10 まとめ

今回の工程は、次の流れです。

• 読み取る：3DGSから地形、岩、木、植物の形と位置を取り出します。
• 生成する：AIが書いたスクリプトで、層ごとにシーンを組み立てます。
• 比べる：K2の写真と3DGSを同じカメラで並べ、差を見つけて直します。