詳しい仕組み

このページは、内部で何が起きているか知りたい方向けです。Two Left Wheels 360 を使うためにこの内容を知る必要はありません。概要はTwo Left Wheels 360 の仕組みをご覧ください。

仮想ドライブ

仮想ドライブは Dokan が提供します。Dokan は、プログラムがファイルの要求に自分で応答できるようにする Windows ドライバーです。Windows はドライブをフォルダーとして表示します。プログラムがその一覧を取得したり中身を読んだりすると、Windows はその要求を Two Left Wheels 360 に転送します。

各動画は、カメラの音声付きの非圧縮映像の MOV ファイルとして表示されます。非圧縮映像はフレームのサイズが一定なので、プログラムが読む位置から、どのフレームが必要かが正確にわかります。そのおかげで、どのフレームでも、どんな順番でも、要求に応じて作れます。

フル解像度のフレーム

プログラムがフル解像度のフレームを読むと、Two Left Wheels 360 はそのフレームの両レンズ分をグラフィックスカードのビデオデコーダーでカメラのファイルからデコードし、ローリングシャッターを補正し、手ブレ補正と水平補正をかけ、継ぎ目に沿ってレンズを合わせ、色をそろえて、1枚の360度画像に合成します。これらはどれも保存されません。編集用の画質でスティッチングした8Kファイルは、1分あたり約20 GBになるからです。

8Kのフレーム1枚は非圧縮で約88 MBあり、当社のテスト用パソコンで作成に0.25秒以上かかります。フレームを見たりレンダリングしたりするには十分ですが、再生には遅すぎます。

8ビットの動画は8ビットのRGBで渡されます。Insta360 X6 や DJI のカメラなどの10ビットの動画は、10ビットでデコードしたフレームからスティッチングされ、10ビット4:2:2の映像として渡されるので、編集ソフトに届くまでに精度が失われることはありません。

プロキシ：3種類

編集は、リアルタイムで再生できる各クリップの小さな版、プロキシで行います。Two Left Wheels 360 は最大3つの方法でプロキシを用意し、編集ソフトからはいつも同じプロキシファイルに見えます。

• カメラのプロキシからリアルタイムでスティッチング。カメラは各動画の横に低解像度のファイル（LRV または LRF）を記録します。そこには両レンズの映像がスティッチングされないまま入っています。Two Left Wheels 360 は要求に応じて数ミリ秒でそこからプロキシのフレームをスティッチングするので、動画を追加した瞬間からプロキシを使えます。
• 代わりに作成したプロキシから。カメラのファイルがない場合、Two Left Wheels 360 はバックグラウンドで元の動画から同等のものを作成します。動画の再生時間ほどかかります。完成するまで、その動画にはフル解像度のファイルしかありません。
• スティッチング済みのプロキシファイルから。リアルタイムでスティッチングされるプロキシですでに編集している間に、Two Left Wheels 360 はバックグラウンドで各動画のプロキシを一度だけ普通の小さな動画ファイルにスティッチングし、完成したらそちらに切り替えます。このファイルの読み込みにはスティッチングもグラフィックスカードも不要なので、カット、クリック、編集ソフトでプロジェクトを開く操作が速くなり、グラフィックスカードは編集ソフトに任せられます。当社のテスト用パソコンでは、動画の再生時間の約2.5倍の速さで作成されます。

バックグラウンドの処理は編集ソフトがフレームを読んでいる間は待機し、ディスクの空き容量が20 GB未満のときはスティッチング済みのプロキシファイルを作成しません。

設定を変更したとき

フル解像度のフレームは何も保存されないので、常に編集パックの現在の設定で作られます。

スティッチング済みのプロキシファイルにはスティッチングしたときの画像が入っているので、作成時の設定に対応します。設定を変更すると、Two Left Wheels 360 はその編集パックのプロキシを新しい設定ですぐにリアルタイムのスティッチングに戻し、新しいスティッチング済みのプロキシファイルをバックグラウンドで作成します。その間も編集を続けられます。気づくとすれば、新しいファイルができるまでプロキシの反応が少し遅くなることくらいです。

編集ソフトは、変更前に読んだフレームを読み直すまで表示し続けることがあります。

ディスクに保存されるもの

フル解像度のスティッチング済み映像が保存されることはありません。次の小さなファイルは、メディアのフォルダーではなく、Windows のユーザープロファイル内にあるアプリのデータフォルダーに保存されます。

• スティッチング済みのプロキシファイル：24 fpsで記録した映像1時間あたり約8 GBで、カメラ自体のプロキシの約2倍のサイズです。
• カメラのプロキシファイルがなかった動画のために作成したプロキシ：カメラのものとほぼ同じサイズです。
• 準備済みの音声、各動画のレンズの色の測定結果、小さなインデックスファイル。

編集に戻ったときに時間がかからないよう、これらは編集パックが使っている間は保持されます。どの編集パックにも必要なくなったファイルは自動的に削除されます。たとえば、その後に変更した設定で作成したスティッチング済みのプロキシファイルです。カメラのプロキシファイルがなかった動画のために作成したプロキシは保持されます。作り直すには動画の長さと同じだけ時間がかかるためです。編集パックを削除するときは、そのファイルも削除するかどうかを選べます。フォルダーの場所と削除方法はプライバシーのページに記載しています。