3DGSと撮影画像から、
編集できるホールの3Dモデルを作る

01 なぜ3DGSから編集モデルを作るのか

3DGSは、現地の色や光、細かな物の置かれ方まで、その場に近い見た目で残せます。
ロケーションを確認し、画角を探す用途では、この見た目自体が大きな強みです。

一方で、壁だけを選んで動かす、舞台の形を変える、手すりを非表示にする、といった作業には、通常の3Dモデルが必要です。
そこで今回は、3DGSを現況の見本として残しながら、同じ空間を編集できるメッシュで作り直す方法を試しました。

02 3DGSと撮影画像を分けて使う

元データには、ホール全体の3DGSと、PortalCamの撮影データが入っています。
撮影データから左右のカメラ画像を取り出し、形が分かりにくい場所を別の角度から確認できるようにします。

3DGSは空間全体のつながりと見た目をつかむために使い、撮影画像は部材の形や材質を確認するために使います。
どちらか一方だけに決めず、役割を分けることで、スキャンの欠けやにじみを建物の形として作ってしまうことを避けます。

PortalCamの生データから元画像を取り出す方法は、PortalCamの生データ(.xbin)から4K元画像を取り出すで詳しくまとめています。

03 Blenderに3DGSを重ね、同じカメラで比べる

まず3DGSをBlenderに読み込み、制作モデルと同じ座標へ置きます。
次に、舞台、後方、左右、天井、2階を見るカメラを固定します。
モデルと3DGSを同じ位置・同じ画角から出すことで、目で見ただけでは気づきにくい幅や高さの差を追いやすくなります。

カメラだけを合わせても、3DGSとCGでは光の出方が違います。
明るさや色の差をそのまま寸法差とは考えず、柱や梁の輪郭、床との接点、部材どうしの重なりを中心に見ます。

04 Codexで形を作り、画像で方向を直す

制作は、CodexからBlenderのスクリプトを実行して進めました。
壁や梁を追加し、レンダリングし、元の3DGSと比較します。
私は比較画像を見て、次に直す場所と、形の作り方を指示します。

一度でホール全体を完成させようとすると、間違った形まで広い範囲に増えてしまいます。
そこで、天井、2階、舞台、壁際の設備というように場所を分け、1つ直すたびに別の角度から確認する流れにしました。

05 形状の作り方そのものを修正する

途中のモデルでは、曲がった部材を短い円柱でつないだ箇所がありました。
これでは継ぎ目が見え、建築部材として不自然です。
曲面は連続した1つの形へ作り直し、角のつながりも拡大して確認します。

舞台の前板も、最初は縁が太く、中央の板が深く沈んでいました。
3DGSと同じカメラで比べながら、縁を細くし、凹みを浅くします。

06 木目と材質を作る

形が近づいても、同じ木目をすべての板に繰り返すと、CGらしい規則性が目立ちます。
そこで舞台の前板には、画像生成で作った異なる木目を割り当て、板ごとに模様を変えました。

生成した木目は、実物の木材を撮影して作ったテクスチャではありません。
色と木目の方向を近づけるための汎用素材として使い、実物と同じ樹種や模様だとは扱いません。
木目だけでなく、縁の形と明るさも一緒に調整します。

07 6つの場所で3DGSと比較する

ここからは、現在の制作モデルと元の3DGSを、同じカメラから1枚ずつ並べます。
画像の重ね合わせや位置の変形はしていません。
各場所で、1枚目が制作モデル、2枚目が3DGSです。

舞台

後方

左側

右側

天井

2階

08 現在の限界とまとめ

3DGSと撮影画像を組み合わせることで、空間全体の見た目を確認しながら、編集できるモデルを作れます。
Codexに制作と比較を繰り返してもらうことで、天井や曲面のつながり、舞台前板のような局所的な形も段階的に詰められました。

ただし、このモデルはまだ商用で使用できるほどのクオリティではありません。
実際の3DGSスキャンと比較すると、壁の位置やパーツごとのサイズには、場所によって大きな差が残っています。
写真で見えない部分や部材の厚みには推定が含まれるため、実測図面や施工用モデルの代わりにはなりません。

今回わかったのは、AIに一度で完成品を作らせるより、3DGSを比較の基準として残し、場所を分けて作り、同じカメラで何度も確認する方法が有効だということです。
一方で、今回のMCPを使った制作手法だけで完全に再現するには限界があります。現状はラフモデルとして扱い、手動修正を前提にする必要があります。
できることの限界を見極め、適切なリソースを使って納品品質まで仕上げることが最も重要でした。AIに任せた後の修正とデータ管理には、依然としてプロの目と作業が必要です。

現実に存在するものを忠実に再現するタスクは、現在のAIが苦手とする分野です。AIは欠けた情報をそれらしい形で補うことはできますが、写真や3DGSだけでは確認できない寸法、部材の厚み、裏側の構造まで正しく知ることはできません。場所ごとに修正した形が、空間全体の座標や隣接部材と矛盾することもあります。
そのためAIは、形の提案、ラフモデルの作成、比較レンダリングの反復には有効ですが、忠実な再現には実測値や図面による拘束条件と、モデラーによる最終調整が必要です。