目次
まえがき
本書について
本書は、技術好き学生支援コミュニティIwaken Lab.1のNeRF好き学生メンバー3名と共同で執筆しました。技術書典15で私たちが執筆した「今日から始めるNeRF入門」をベースに、3DGSの内容を追加して拡張したものです。「NeRF/3DGS学習初心者向けの本」をコンセプトにしており、これからNeRF/3DGSを学ぶ大学生や社会人に特におすすめです。
今回はスペシャルサポーターとして、Katagiri Keitaさんに執筆と内容の監修をお願いしました。Katagiriさんには「NeRFやってみた発表会」でゲスト登壇していただいて以降、学生メンバーへのNeRFに関するアドバイスを精力的に行っていただいています。本書のNeRF/3DGSの技術面での校正作業もしていただきました。ここで改めて感謝の意を表します。
Iwaken Lab.メンター / イワケン (@iwaken71)
本書の構成・担当と読み方
本書の構成・担当と読み方についてご紹介します。
・第1章「NeRF/3DGSとは」 さくたま・Aster
・第2章「Luma AIでNeRFによる動画作成を体験しよう」 さきやま
・第3章「自由視点画像生成を学ぶ」 Katagiri Keita
・第4章「NeRF/3DGSの理論を学ぼう」 さくたま
・第5章「Nerfstudioの環境構築しよう」 Aster
・第6章「VolingaのNeRF/3DGSの環境構築をしよう」 Aster
・第7章「Postshotで3DGSを動かそう」 Aster
・第8章「Instant-NGPの環境構築しよう」 Aster
・第9章「関連技術の紹介」 Katagiri Keita
・第10章「あとがき」 全員
各章は次のようにカテゴリー分けしています。読みたい内容に応じて、好きな章から読んでいただけると嬉しいです。
・第1章では、NeRF/3DGSの概要と楽しみ方について紹介します。
・第2章では、LumaAIを使ったNeRF体験について紹介します。
・第3,4章では、NeRF/3DGSの理論的側面について紹介します。
・第5,6,7,8章では、NeRF/3DGSの開発的側面について紹介します。
・第9,10章では、関連研究と未来について紹介します。
Iwaken Lab.とは
Iwaken Lab.は、イワケンこと岩﨑謙汰個人が主催する「技術好き学生支援コミュニティ」です。最初は、技術に情熱がある学生を活躍させたいという想いから始まりました。ビジョンとして「バイネームで活躍する技術好きのサードプレイス」を掲げ、ミッションとして「好きな技術で社会インパクト」を目指し、各メンバーが自走的に活動しています。2021年5月にスタートし、2024年6月現在では52名のメンバーと4名の社会人メンターが所属しています。
この1年間は、NeRF関連の活動を多数行いました。
・2022年10月「NeRFやってみた発表会2」開催。6人登壇、28名参加申し込み
・2023年4月「NeRF撮り方LT会3」開催。4名登壇。374名参加申し込み
・2023年4月「ゲスト: LumaAI AI葵（Aoi）さんのトーク4」開催。35名参加申し込み
・2023年5月「BBQ+Luma AIコンテスト5」開催。36名参加
・2023年5月「3Dスキャン未来IIKラジオ6」開催
・2023年9月「NeRF開発合宿7」開催。18名参加
・2023年10月「3D Gaussian Splatting ゆる勉強会 vol.08」開催。81名参加申し込み
・2023年11月「今日から始めるNeRF入門」執筆
・NeRF旅実施多数
これらは、学生メンバーによる「NeRFが好き！」「3DGSが好き！」「NeRF/3DGSという技術と表現のすごさを皆に伝えたい！」「多くの人とNeRF/3DGSについてワイワイしたい！」という気持ちから生まれています。この本の執筆も、そのための活動のひとつです。
免責事項
本書に記載された内容は、情報の提供のみを目的としています。したがって、本書を用いた開発、製作、運用は、必ずご自身の責任と判断によって行ってください。これらの情報による開発、製作、運用の結果について、著者はいかなる責任も負いません。
本書の内容は2024年6月19日現在の情報に基づいて執筆されています。そのため、技術の進歩や新しい情報の出現により、一部の内容が将来的に古くなる可能性があります。あらかじめご了承ください。
第1章 NeRF/3DGSとは
担当: さくたま、Aster
1.1 NeRF/3DGSは自由視点画像生成技術のひとつ
Neural Radiance Fields（NeRF）は、2020年にECCVというコンピュータビジョンのトップカンファレンスで採択され、Best Paper Honorable Mentionにも選ばれた技術です。この技術は、発表からわずか3年で4000本近く引用されるなど、最先端技術のひとつとして認識されています。3D Gaussian Splatting（3DGS）は、2023年にSIGGRAPHというコンピュータグラフィックスのトップカンファレンスで採択され、こちらもBest Paperに選ばれました。
NeRF/3DGSは、多数の画像から任意の視点から見た画像を推測する自由視点画像生成の技術の一種です。具体的には、多数の画像から、三次元位置をある方向から見たときの色と密度を表現するRadiance Fieldsというデータを学習します。そして、このRadiance Fieldsを利用して、新しい視点から見た画像を生成します。
動画から新たな視点の画像を生成する手順は、以下の通りです（図1.1参照）。
１．物体を色々な方向から撮影した画像群を入力として与える
２．画像からカメラ位置姿勢を推定する（Structure from Motion: SfM）
３．画像とカメラ位置姿勢からRadiance Fieldsを学習する
４．学習したRadiance Fieldsから、新たなカメラ位置から見た画像を作る
このうち、3.と4.の部分がNeRF/3DGSです。
詳しい説明は、第4章で行います。
1.2 NeRF/3DGSによる映像制作を楽しもう
NeRFを活用することで、新たな映像表現を作ることができます。2023年1月、米国マクドナルドがTVCMとして世界ではじめてNeRFを用いた広告キャンペーンを放映したのが話題となりました。
また、2023年11月、著者のAsterが制作協力した若杉果穂さんの2nd Singleの夢見るカフカのMVにもNeRFを使用しています。以下のリンクから、若杉果穂さんの2nd Singleの夢見るカフカのMVをご覧いただけます。
https://www.youtube.com/watch?v=f09P7VgV4Ng
図1.3のように、人間と風景を360度さまざまな角度から映像として捉えています。こういった映像を撮るためには、ドローンでの撮影が考えられますが、NeRFによる映像作りではドローンでは通れない柵の間を通るようなカメラワークも実現可能です。
このようなNeRFによる映像作りを楽しむことは、Luma AIというサービスを使うことで、スマホひとつで体験することができます。
図1.4のように、まず対象物を囲むように動画を撮影します。この時点で緊張感があり、同時に楽しみながら撮影できます。その動画をLuma AIのサービスにアップロードすると、NeRF動画は半分完成です。あとは、カメラワークを後から編集することで、新たな表現の動画を生成することができます。
これらのLuma AIによるNeRF動画作成体験の方法については、第2章で詳しく紹介します。まずは楽しむところから始めましょう。
1.3 NeRFによる映像表現のスキルアップ
Luma AIによるNeRF動画作成を体験した後、「もっといい映像を作るためにはどうすればいいのだろう？」と疑問に思うかもしれません。そのためには、NeRFの中身を理解する必要があります。そのための手段として、本書では理論と実行環境を作るというふたつの方針で情報を提供します。
理論や数式が好きで、技術背景を知りたいという方は、
・第3章「自由視点画像生成を学ぶ」
・第4章「NeRF/3DGSの理論を学ぼう」
をぜひご覧ください。
手を動かしながら理解したいという方は、
・第5章「Nerfstudioの環境構築しよう」
・第6章「VolingaのNeRF/3DGSの環境構築をしよう」
・第7章「Postshotで3DGSを動かそう」
・第8章「Instant-NGPの環境構築しよう」
を見ながら、自分のPCで実行環境を作ってみてください。新たな気づきが得られるはずです。