実走行を再構成した3Dシーンから、別車種のカメラ配置に合わせた映像を生成し、自動運転の認識モデルの学習に使う手順が示された。車種ごとに異なるカメラの視点を、既存の走行記録から作り出す。
車種が変わると認識モデルへの入力も変わる
同じ認識ソフトウェアを別車種へ移しても、カメラの位置や較正、視野、車体による遮蔽は同じにならない。信号機や歩行者が映る位置も変わるため、既存車両の映像をそのまま対象車両の入力として扱うことはできない。
NVIDIAの3Dシーン再構成技術「NVIDIA Omniverse NuRec」は、既存車両が記録した走行シーンを再構成し、対象車両のカメラ視点から映像を描画する。これにより、一つの走行記録を異なるカメラ配置で見た映像へ変換する。
6台のカメラ映像から走行シーンを再構成
NuRecは、センサーデータから実環境を3D Gaussian splattingで再構成する。物体や周囲の見え方を3Dシーンとして表すことで、記録時とは異なる視点からの描画につなげる。
手順で使う「Physical AI NuRec Dataset」には、6台のカメラ映像から再構成した約20秒の走行シーンが1500件以上含まれる。開発者はそのうちのシーンを選び、対象車両のカメラ構成と組み合わせる。
対象車両のカメラ条件で新しい視点を描画
描画では、指定したカメラモデルを通して再構成シーンの3D Gaussianを投影する。カメラの位置・向きや内部パラメーター、視野角、レンズモデルを対象車両に合わせて設定できる。
再構成シーンには、元の車両の走行軌跡に加え、カメラごとの較正情報、動的物体の追跡情報、地図データも保持される。公開サンプルの仮想カメラ構成には対象カメラが1台登録されており、手順ではその1台分の映像を生成する。カメラを増やすには、それぞれに固有の名前、画像サイズ、レンズモデル、内部パラメーター、車体に対する姿勢を設定する。
描画した映像を補正して認識モデルの学習へ
対象カメラから描画したフレームは、映像補正技術「NVIDIA Harmonizer」で調整した後、認識モデルの学習に使う。手順は、再構成シーンと対象カメラ構成の組み合わせから描画、フレーム補正、学習までをつないでいる。
NVIDIAは、実走行データをシステム性能の検証に不可欠なものと位置付ける。一方、対象車種の十分な実走行データがそろう前には、こうして生成した合成データをモデルの適応に利用できるとしている。