カテゴリー: 3D

ComfyUIからは2025年1月現在、今のPCでだいたい1024 x 1024 または1280 x 768程度の3D SBS画像を生成することができる。本来ならこれをAdobe Premiereあたりで編集して動画を作成するのが筋なのだがこのサイズだとエンコードしてデバイスに出力してくれない。そこで簡易にFFmpeg + ステレオムービーメーカを活用してVR動画を作るシナリオをかんがえたので、下記に記す。

想定：
1)画像は3D静止画をパラパラと見せる。１枚３秒程度見せる。
2)タイトルや途中のテキストは、独立した画像で見せることとし、3D_SBSの中には埋め込まない
3)音声や画像はまとめて一つの音源として作成し、これもFFmpeg中にまとめる

やり方案：
1)最初に1024 x 1024 x 2面(=2048 x 1024) のテンプレート面をpngなどで作成する。
2)これを使って
・タイトル
・テキストのみのページ
・他のコンテンツ(人物の様子など)
・エンディング
などを最初に作っておく
3)静止画はあらかじめ連番で作成しておく。シナリオに沿って1)で作成したページもこの時点で入れて連番にしておく。静止画の１枚の継続時間を想定（例えば4秒)しておく。
4)Adobe Premiereを使って静止画を読み込み、それに合わせて音声シナリオ、背景音楽を編集する。継続時間を考慮する。できたら、全部の書き出しはできないので音声と音楽のみまとめてmp3などで出力する。
5)静止画の中にテキストを盛り込みたいページがあれば、ステレオフォトメーカで編集して挿入する
6)FFmpegでエンコードする。
ffmpeg -framerate 30 -i frame_%04d.png -c:v libx264 -pix_fmt yuv420p output.mp4
-framerate 30 は1秒あたり30フレームの動画を指定しています。frame_%04d.png はSBS画像ファイル名の形式（例: frame_0001.png, frame_0002.png など）。output.mp4 は出力動画ファイルの名前です。
7）音声もincludeする際には
ffmpeg -framerate 30 -i frame_%04d.png -i audio.mp3 -c:v libx264 -pix_fmt yuv420p -c:a aac -shortest output.mp4

output.mp4 出力動画のファイル名。ate 30動画のフレームレートを指定（30FPSに設定）。
-i frame_%04d.png入力画像（連番形式）の指定（例: frame_0001.png, frame_0002.png）。-i audio.mp3入力音声ファイル（MP3ファイルを指定）。
-c:v libx264　動画コーデックを指定（H.264で圧縮）。
-pix_fmt yuv420　動画のピクセルフォーマットを指定（互換性向上のための設定）。
-c:a aac音声コーデックを指定（AAC形式に変換）。
-shortest　音声と画像の短い方に合わせて動画を終了させるオプション　

これで見ることができるはずと期待

今のところ生成された2D画像からSD webUIに拡張機能を入れると3DSBSを出力してくれる。

この際もしステレオフォトメーカで文字をいれるなら+10ピクセルがよさそうだ

2023現在、Fijifilm 3Dで撮影した映像を利用してOculusで視聴できる画像で今のところ満足できる作成法は以下の通り。

ターゲットのモデルはPoserで作成し、Octane renderでParallel & SBS、視差は60ｍｍ程度で作成する。特にカメラの焦点距離を40mm程度にする。pngで出力する。サイズは960 x 1280の横つながりなので1920 x 1280とする。Parallelで作成するとボディが前面に浮き出た感じになる。

一方3Dカメラの画像は左右とも3584 x 2016である。ステレオフォトメーカProを使ってこれをリサイズ &トリミングする。もしもポートレートから後ろに遠ざけたいのであれば、画面を目いっぱい切り抜けばよいので、まず縦横比を維持しつつ高さを1280として縮小し、その後に960 x 1280でトリミングすればよい。逆にポートレートに近づけたい場合には高さを1280から2016の範囲で適当にセットし、縦横比を維持して縮小し、その後に960 x 1280でトリミングすればよい。これをjpgでステレオ出力(S=SBS)する。1920 x 1280の画像が出力される。

Photoshopを用いて、3Dカメラの背景画像を読み込み、合わせてレイヤを用いてモデルのpng出力を重ねる。Tipsとしてこのpngの右上/左下に小さな四角画像を入れておくと、コピペして背景画像と重ねる際にうまくゆく。後でこれは消す。

重ねの常で、モデルのレイヤでレイヤのフリンジ除去を行った後、背景とのバランスで、明るさやコントラストを調整してゆく。背景をぼかしたり、他のエフェクトをつけることも可能だ。

出来上がった3D SBSファイルは、jpgで保存する。オプションとして、再度ステレオフォトメーカProを使ってロゴやテキストを入れることもできる。Parallelを使ってボディを前面に出す場合には文字の深さは+40ピクセル程度、ロゴも30ピクセル程度にした方がよい。

これでOculusでも他のVRででも素敵な立体画像視聴が可能となる。

SBSを読み込ませたのち、調整->簡単位置調整を選択する。

水平選択でとして、
左 ++ 右 — => 画像が前面に押し出される
左– 右++ => 画像が後方に引っ込む

Octaneで立体SBSができたら、これで調整し、PNGで書き出したのち、3D写真と

合成するとよい

追記：一発調整を行うと、例えばParallelで前面に画像を出そうとしても真ん中あたりに平均化されてしまうようだ。使わないほうが無難なようだ

Fuji fine-pixで撮影した3D映像に、octaneで作成した3D SBSを重ねている。
もしfine-pixでの立体よりも前面にモデルを出したいときは平行法(Parallel)を用いるとよい。
一方もしfine-pixの立体よりもモデルを後ろに回したいときは、モデルを下がらせて
その分focusを上げるという手もあるが、さっさと交差法でレンダしたほうがうまくゆくことが多い。

またfocusは35mmでは立体感が強調されすぎるし、100-150mmではべたっとなる。60mmぐらいが適切かと思うがそれは場合場合で調節すると良いと思う

補足：少々upで近傍の3Dを表現するには40mmでもまだ立体感が強調されている。55mmにしたら割とよかった

名残惜しいFuji Film finePix read 3D(以降 F3Dといいます）、これを使ってMPOファイルから左右別々の画像を抽出する。FR.jpg, FL.JPGとしよう。このサイズはそれぞれ3441×2016である。さてこの画像とPoser & Octaneで生成される3D画像を重ねてVRで3Dに見せられる画像を作ってみたい。

1)まずこの現画像2つを圧縮し、1280 x 750 2枚にする。

2)Poserにて作られた画像をOctaneで3D化する。このとき、Octaneで作成する画像のサイズも1280 x 750の左右2枚とする。Off-Axisで生成する。視差は0.065ぐらいでいいだろう。PoserのFocalはまだ調整が必要だが、35mm-25mmの間ぐらいがよさそう。
->いろいろ試したが、35mmと50mmの間、42.5mmぐらいが妥当そうだ。

3)　1), 2)をPhotoshop上で合成してpngもしくはjpgで出力する。サイズが同じなので問題なくできるはず

4) Stereo Photo Makerでこの2枚を順に読み込み、MPOにする。

5)Oculesで視聴する　VR Photo Player はMPOが見られる

追記：VR Photo Playerで見るとかなり画面が大きい。Poserで作成したフィギュアは比較的画面の下に収め、かつ背景の上部は大きく空があるほうがよさそうである。

Oculus riftで.mpo閲覧したいと思ったが、なかなか見つからなかった。LiveViewRiftで見れるとあったが、どうもステレオ画面になってくれない。他の候補をあたってみるにSteam上のVR Photo Viewerがあった。これは動作が鈍いので、選択に時間がかかるが、コントローラで右のBボタンを押せばファイル選択ならびにSBS, MPOなどの設定が出る。これで何とか.MPOファイルが見れるようになった。ただしデフォルトが横に延伸したビューなので、そうでない普通のビューがデフォルトになってほしい。