この度はお買い上げいただき、誠にありがとうございます。
読者の皆様は、記念日や、旅先の観光地、展示会などで、写真を撮影することがあると思います。なぜ写真を撮るのでしょうか?その時の場面や物や瞬間を記録する為、また、自分以外の誰かに見せて伝えるためだと思います。もしそれが、これから失われる情景だったり、卒業や退職で二度と見られないかもしれない光景だったら、写真撮影で情景を記録することで後から見返すことができます。しかし、写真は縦と横の二次元情報(2D)しかありません。動画でも二次元(2D)です。これを立体的にしてみたらどうでしょうか。つまり、二次元ではなく三次元情報(3D)で記録し、視点を変えても撮影対象物を正確な形と配置で見ることができる様になります。それは写真のアルバムならぬ三次元空間(3D)のアルバムとも言えます。それを可能にするのが、3Dスキャンです。3Dスキャンの問題点は高価な機材と専門技術が必要なことで、一般人が行うには敷居が高いものでした。しかし、コンピューター技術の発達により、写真を撮るだけで3Dスキャンが可能になりました。それが、フォトグラメトリと呼ばれる技術です。
フォトグラメトリは写真や映像を解析、統合して立体的で精細な三次元コンピューターグラフィックス(3DCG)モデルを作成する技術です。近年注目され、フォトグラメトリによる遺跡や文化物を3DCGモデル化してデータ保存することが海外では活発に行なわれています。日本国内にもデータ保存すべき遺跡や文化物が多いので、今、フォトグラメトリの技術を身につけて、そうした遺跡等の3DCGモデルを作っておくと、将来の研究者、映像作家、ジャーナリスト、と言った方々に感謝されます。
この本の前半では、高価で特別な機材がなくても、誰でも無料で簡単にフォトグラメトリをする方法を解説します。後半では、フォトグラメトリの技術を磨きたい、あるいは、もっと精細で美しい3DCGモデルを構築したいという方に向けて、必要な機材と、それらを使った撮影方法、主要なフォトグラメトリのソフトウェアの詳細な操作方法を解説します。
本書は、フォトグラメトリ初心者の方に向けて書かれた入門編と、経験者の方に向けて書かれた上級編に分かれています。
・前半の第1章から第9章までが入門編です。初心者の方はこちらからお読みください。第1章ではフォトグラメトリの基本的な概念について解説します。次にSketchFabというWebサイトを、そして本書で扱う題材と、フォトグラメトリによる3DCGの応用例を紹介します。第2章から第9章までは、入門編として、初心者の方に体験していただくために、まずは簡単な写真の撮り方を説明し、次に3つの代表的なフォトグラメトリソフトウェア(3DF Zephyr、Reality Capture、Metashape)を使って、実際に写真から3DCGモデルを作ってみます。入門編では無料のソフトウェアもしくは少額で体験できる方法に限定し、また細かい設定はせずに3DCGモデルを作成します。作成した3DCGモデルを、3DCGモデル共有サイトで公開する方法を第5章で扱います。その次に、スマホのアプリで体験できる方法として、フォトグラメトリアプリを第8章で扱います。またLiDAR付きのiPhone/iPadをお持ちの方は、写真撮影の他にもLiDARスキャナーで3Dスキャンができます。その方法を第9章で扱います。
・後半の第10章から第18章では上級編です。経験者の方はこちらからお読みください。まず第10章でフォトグラメトリの基礎的な理論を説明し、その歴史と考えられる未来について考察します。次の第11章では本格的にフォトグラメトリを始める為に必要な機材や有料のソフトウェアについて解説します。第12章でカメラの設定と撮影対象物の大きさによって違う写真の撮り方について解説します。写真撮影の応用編として第13章と第14章でそれぞれ水中撮影方法とドローンによる撮影方法について扱い、撮った写真をMetashapeでフォトグラメトリする過程を第16章で解説します。Reality Captureを使ってレーザースキャンデータとドローン撮影による写真を統合する方法や3DCGモデルにGNSS測位データを組み合わせる方法を第15章で解説します。また、MacOSのフォトグラメトリのAPIであるObject Captureの使い方と作成した3DCGモデルをARKitを使ってAR上に現出させる方法について第17章で解説します。最後に、第18章でCloudCompareによる点群処理の方法について解説します。
・前半の入門編では自動で3DCGモデルを生成してくれるソフトウェアやアプリを扱い、後半の上級編では細かい設定を使って手動で作成するという分類もできます。
各章は以下の構成になっております。
入門編
第1章 入門編 フォトグラメトリの世界
第2章 入門編 フォトグラメトリに最低限必要なもの
第3章 入門編 写真・動画の撮り方 I 基礎編
第4章 入門編 3DF Zephyr
第5章 入門編 SketchFabで公開
第6章 入門編 Reality Capture I
第7章 入門編 Metashape I
第8章 入門編 Photo Catch(iOSアプリ) / Trnio クラウドでフォトグラメトリ
第9章 入門編 iPhone/iPadによるLiDARスキャン
上級編
第10章 上級編 フォトグラメトリの理論的基礎
第11章 上級編 フォトグラメトリに必要な機材とソフトウェア
第12章 上級編 写真・動画の撮り方 II 高精細なイメージスキャン
第13章 上級編 写真・動画の撮り方 III 水中撮影
第14章 上級編 写真・動画の撮り方 IV ドローンによる撮影
第15章 上級編 Reality Capture II
第16章 上級編 Metashape II
第17章 上級編 Object Capture MacOSでのフォトグラメトリ
第18章 上級編 Cloud Compare 点群処理
それぞれの章の位置付けは以下の様になっております。
トピック | 入門編 | 上級編 |
概念、専門用語解説 | 第1章 | 第10章 |
3DCGモデルの活用例 | 第1、5章 | 第17、18章 |
必要な予算 | 第2章 | 第11章 |
カメラ、パソコン等の機材 | 第2章 | 第11章 |
写真の撮り方 | 第3章 | 第12、13、14章 |
無料のソフトウェア | 第4章 | 第17、18章 |
iPhone/iPadアプリ | 第8、9章 | 第17章 |
RealityCapture | 第6章 | 第15章 |
Metashape | 第7章 | 第16、18章 |
Windowsでの処理 | 第4、6、7章 | 第15、16、18章 |
Macでの処理 | 第7章 | 第16、17、18章 |
レーザー・LiDARスキャン | 第9章 | 第11、15章 |
本書は、次の様な方を対象としています。
・フォトグラメトリに興味がある方
・フォトグラメトリを始めたいけれども、どの様な機材と技術が必要かわからない方
・建物や遺跡や展示会の会場など、失われるかもしれない物や空間を保存しておきたい方
に向けて書かれています。
フォトグラメトリとは何か知りたい方は、第1章から順にお読みください。フォトグラメトリを体験してみたい方は、第2章から第9章までに書かれている手順をご覧になり、実行してみてください。
また、以下の様な方も対象としています。
・既にフォトグラメトリを行っていて、更に技術力を上げたい方
・フォトグラメトリのプロになりたい方
・高価な機材やフォトグラメトリソフトウェアのライセンスを購入する前に検討したい方。
は、第10章からの上級編をお読み下さい。
MetashapeとReality Capture以外のフォトグラメトリのソフトウェアの詳細な使い方、iPhone/iPadに搭載されているLiDARスキャナー以外の各種レーザースキャナーの使い方及び測量機器の使い方、は本書には含まれておりません。カメラの基本的な操作、ドローンの基本的な操縦方法についても含まれておりません。また、Computer Graphics(CG)については、関連する部分の概説をしていますが、各種CGソフトの操作方法については書いていません。
本書を読むにあたり、次の様な知識が必要となります。
・WindowsやMacOSXなどの基本的な操作
・カメラやスマホなどの写真・動画撮影の基本操作
・カメラやスマホなどの写真・動画のデータをパソコンに移す操作
本書は、技術系同人誌即売会「技術書典」で頒布した「フォトグラメトリの教科書I 入門編」及び「フォトグラメトリの教科書II 上級編」に大幅加筆して再構成したものです。
本書に記載されている会社名、製品名などは、一般に各社の登録商標または商標、商品名です。会社名、製品名については、本文中では©、®、™マークなどは表示していません。本書に記載しているURLや製品名やスペックなどは、2021年9月現在のものであり、変更されている可能性がございます。
本文中のカットイラストを描いていただいた、天城しの様(@amagi_shino)、また水中撮影に関する記述を監修していただいたTOK¥Oブローカー様(@tokyobroker1)、また、技術の泉シリーズでの出版の機会をいただいた合同会社技術の泉出版の皆様には、大変お世話になりました。感謝申し上げます。
本書の作例につきまして、3ds-scan.de、勝浦ヘリポート、埼玉県立川の博物館に撮影と掲載の御許可をいただきました。厚く御礼を申し上げ、感謝する次第です。
本書で初めてフォトグラメトリに触れる方のために、フォトグラメトリとは何か、そしてどの様に使われているのか、を解説します。また、フォトグラメトリの実例を鑑賞できるサイトを紹介します。
フォトグラメトリとは、写真を複数組み合わせて、三次元(3D)のCGモデルを作ることです。フォトグラメトリは、物体の三次元形状を計測する3Dスキャンの方法の一つで、その工程(プロセス)は、大別して二つの段階(フェーズ)に分かれます。スキャン(撮影)と、フォトグラメトリソフトウェアによるデータ解析・統合の二つです。
まずスキャンとは写真や動画を撮ることです。少し難しい言い方をすると、写真撮影は二次元(2D)データである画像データを採取することであり、写真撮影をするカメラは、ある意味3D空間から2Dデータをスキャンするスキャナーであるとも言えます。以上の理由で、本書では写真撮影のことを、スキャン(撮影)と表記することにします。フォトグラメトリの成否は、ほとんどこの段階で決まります。ですので、フォトグラメトリを行う上で、スキャンすなわち写真撮影が最も重要であることを本書では今後繰り返し強調します。
と言っても、フォトグラメトリに必要なのは観賞用の美しい写真ではありませんので、プロのフォトグラファーである必要はありませんし、普通の意味で上手な写真を撮る技術も必要ありません。
次に、データ解析・統合とは、スキャン(撮影)した写真の画像データをパソコン(PC)で解析し、コンピューター上で写真のデータを組み合わせて三次元の立体Computer Graphicsモデル(3DCGモデル)を作ることです。
3DCGモデルを作るために必要なのはデジタルデータです。写真は、それがデジタルカメラ(デジカメ、もしくはスマホのカメラ機能)で撮影したものであれば、それはデジタルデータと言えます。ですのでフォトグラメトリはデジタルデータをデータ解析・統合をする作業です。デジタルデータであれば、フォトグラメトリとは別の3Dスキャンの方法(例えばレーザーやソナー(音響)スキャン)で得られたデータからでも3DCGモデルを製作することができます。フォトグラメトリで得られたデータと、他の3Dスキャンの方法で得られたデータを統合することもできます。
データ解析・統合には、専用のフォトグラメトリソフトウェア(アプリ)が必要ですので、そのソフトウェアを購入し、操作方法を習得する必要があります。そのフォトグラメトリソフトウェアの中には、無料版もありますし、有料であっても、操作の習得に関しては無料のままで出来ることが多いです。本書の入門編では、操作の習得の為に、無料版を使うか、もしくは無料でできる範囲で練習します。仮に有料のフォトグラメトリのソフトウェアを購入(正確にはライセンスを購入)するとしても、まずは無料の範囲で操作を習得してからでも遅くはないでしょう。
以上の考えにより、本書では、まず入門編(第1〜9章)では、まず写真撮影して、無料もしくは低額の課金でできるフォトグラメトリによる3DCGモデルの製作を行います。三つのフォトグラメトリソフト(第4、6、7章)及びアプリとクラウドサービス(第8章)で、それぞれ三次元のCGモデル=3DCGモデルを生成する方法について書いています。なお、LiDARセンサーのあるiPhone/iPadをお持ちの場合は、フォトグラメトリではありませんが、第9章でLiDARスキャンアプリによる3Dスキャン・3DCGモデル製作の方法について解説しています。また、本書で解説するフォトグラメトリソフトは基本的にはWindows用ですが、MetashapeはWindowsとMac両方に対応しています。また、M1 Macをお持ちの方は、第17章で無料でフォトグラメトリができるObject Captureについて解説していますので、そちらをご参照ください。
最近の映画、アニメ、ゲームにおいて、人や物体を3DCGモデルで再現した映像はよく見られます。それらの3DCGモデルは、専用のソフトでCGモデラーが手動で作ったものであることが大半です。たとえば最も有名な某対戦格闘ゲームのキャラクターの3DCGモデルは、実在の人物のデータをスキャンして作ったわけではなく、人の手でモデリングされています。
人の手であっても、時間をかけて職人技を使えば、実在の人物と見分けのつかない程の精細な3DCGモデルにすることもできます。
しかし、人の手によって作られたものには微細な不正確さが残り、また時間も労力も膨大にかかります。もし、人の手で一から構築した3DCGモデルと同じものを、写真から機械的に構築できるとすれば、正確で便利です。先程格闘ゲームの例をあげましたが、例えば「ジャッジアイズ1」と言うゲームに出てくる主要な登場人物のCGは実在の人物をスキャンして作った3DCGモデルです。
2Dの画像には、写真と絵画があります。両者を比較してみましょう。たとえば、ある人物の肖像を残すのに、絵画(肖像画)で残すか写真で残すかを比較して考えてみます。絵画の場合は手作業で、写真の場合は工学的手法(光学的記録)によって2Dデータを作ります。写真の方が手間と時間がかからず、かつ正確です。絵画や写真は2Dモデルですが、それらを3Dモデルに置き換えて考えてみると、絵画がCGモデラーが作ったモデル、写真がフォトグラメトリによる3DCGモデル、ということになります。表にまとめます。
|
人の手による作成 | 光学的記録による作成 |
二次元情報 | 絵画 | 写真、記録映像 |
三次元情報 | 手製のモデリング | フォトグラメトリ |
正確性 | 劣る | 勝る |
手間・作成時間 | 大きい | 小さい |
2Dであれ3Dであれ、光学的記録の利点は、正確であることと、作成時間が非常に短いことです。工学的手法で二次元画像を再現する様に、三次元の立体モデルを、複数の写真から機械的に再現するのが広義のフォトグラメトリです。広義と言ったのは、フォトグラメトリの歴史は意外と古く、以前は手作業で行っていたものと、コンピューターによって機械的に三次元形状を再現するフォトグラメトリと両方があるからです。手作業で複数の写真から三次元の形を正確に再現すること自体は昔から可能ではありますが、コンピューターにやらせた方が早くて正確です。コンピューターで写真の二次元データから三次元情報を計算あるいは推測する技術が向上した結果、高価な専用の機械がなくても、スマホで撮れる写真と普通のスペックのパソコンさえあれば、誰でも3DCGモデルを製作することができる様になりました。それが本書で解説する狭義のフォトグラメトリです。
前節で解説した様に、フォトグラメトリの利点のひとつは、手間が少ないことと短時間で作成できることです。したがって、フォトグラメトリの技術を採用することにより、3DCGモデル製作の工数を減らすことができます。たとえば、ゲームやアニメで、背景にある町や建物などは、3DCGモデルの規模が大きく、CGモデラーが作成すると工数と作業時間が膨大なものになります。その様な場合、現実の風景や建物を写真に収め、それをフォトグラメトリで作成すれば、大幅に工数と作業時間を減らすことができます(CGモデラーの方には3DCGモデルを調整する仕事が残ってます)。
もうひとつのフォトグラメトリの利点は、正確性にあります。ゲームや映像の中の3DCGモデルは、誤解を恐れずにいえば、正確無比である必要はありません。しかし、二次元の記録媒体としては写真が絵画に勝る様に、3DCGモデルにも正確性が求められる場合があります。それは建築、考古学、文化財のデータとして保存する場合です。それらの分野では数mm単位の正確性が求められます。フォトグラメトリの技術が発達するまでは、レーザースキャナーによる3Dスキャンが最も正確な手段でしたが、現在ではフォトグラメトリでも十分に使用可能な精度がでます。
また、フォトグラメトリによって写真から作られた3Dデータは、当たり前ですがデジタルデータであるため、コピーすれば配布が安易であり、またコピーしたものを配布している限りデータ自体は劣化しません(それに対して、アナログの写真やビデオテープは時間とともに劣化します)。アナログデータとのもうひとつの違いは、デジタルデータであるため、他のタイプのデータ、たとえばLiDARによるスキャンデータ、映像等の他の2Dデータから作った3Dデータ、サーマル画像、音響(ソナー)からのデータ、GIS測地系座標データ、などと組み合わせることができることです。
2019年に火災で消失した首里城やノートルダム大聖堂の一部の様に、歴史的遺産、文化的な建物、遺跡というものは、いつ何時消失するかわからないものです。特に遺跡は、たとえ火事や事故が起きなくても経年劣化により元の形が段々失われていき、後の世代の研究者や郷土史家が研究する上で大きな障害となっています。
そこで、それらの遺跡や文物を、今のうちにフォトグラメトリによりデジタルデータを保存しておけば、事故や盗難による消失や、経年劣化による形状情報の消失を防ぐことができます。そのため、世界中でフォトグラメトリによるデジタルアーカイブ化が行われています。世界中で、と書きましたが、日本では低調で、ごく一部の研究者や技術者にしか伝わっていません。
日本中の遺跡や歴史文化遺産の数は、ありがたいことにとても多いのですが、それら全てを少数の研究者が3Dスキャン・写真撮影することは不可能です。
そこで、読者の皆様が、皆様のお住まいのご近所にある歴史的な建物や遺跡を、今、そこにあるうちに、フォトグラメトリによって精細な3DCGモデルを作って保存しておけば、将来必ず感謝されるでしょう。
また、家族や個人的なイベントの記録として空間を保存することができるのも、フォトグラメトリの大きな利点です。結婚式などのイベントや、取り壊す前の家、あるいは普段生活している部屋の写真を撮り、3DCGモデルにしておけば、将来必ず感謝されるでしょう。
個人的な空間や文物の記録はともかく、歴史的な建物や遺跡は人類共通の遺産です。もし、フォトグラメトリで3DCGモデルにしたあと、更に、それをネットに上げていただければ、読者の皆様がフォトグラメトリしたものが、人類の遺産として広く共有されます。
具体的にどの様に共有されているのかをの例として、遺跡などの3DCGモデルを共有するサイトを紹介します。
もしフォトグラメトリで3DCGモデルを作成したとしたら、それをどうすれば鑑賞できるでしょうか。お持ちのパソコンで3DCGを鑑賞するにはブラウザで観ることは出来ませんので、専用のビューワーソフトが必要です。しかし、3Dデータを共有するサイトにアップロードすることで、ビューワーがなくてもブラウザだけで簡単に鑑賞することができます。また、共有するサイトですので、全世界に対しても見せることができます。そうした3DCGモデルの共有サイトの中では、最も代表的であり、個人が趣味で作った作品から大学の研究機関やプロが作成した作品まで揃っているのがSketchFabです。Youtubeの3DCGモデル版とも言えます。
まずはここにアクセスしてみて下さい。
SketchFab https://SketchFab.com/
この画面は、少し下にスクロールしたところです。この中のどれでもいいですので、クリックしてみてください。画面に3DCGモデルが現れ、それをマウスやタッチパッドで視点を360度自由に動かせます。
ただ、このサイトには、現実に存在するものをフォトグラメトリした3DCGモデルだけではなく、3DCGソフトで人の手で作った架空のものも多く含まれています。フォトグラメトリの作例だけを探すには、フォトグラメトリでキーワード検索します。SketchFabの画面の中の、「Search 3D models」のところに、「photogrammetry」と入力して検索してみてください。
「photogrammetry」で検索 https://sketchfab.com/search?q=photogrammetry&type=models
次に、日本人にとって縁のある海底遺跡の例をご紹介します。
こちらはEast Carolina Universityの海中考古学の研究者の方が公開しているモデルです。
Aichi E13A Jake https://skfb.ly/66VEn
この零式水上偵察機(Aichi E13A Jake)は海底遺跡であり、作成者が潜水服を着て水中に何度も潜り数千枚の写真を撮って、そこからフォトグラメトリで3DCGモデル化したものです。
こちらのモデルはドラッグで回転、マウスホイールの上下で拡大縮小(タッチパッドをお使いの場合は二本指で拡大縮小)ができます。また、左上のModel Inspectorをクリックすることで、様々な条件で見ることができます。たとえば、こちらは後処理を行った場合と行わなかった場合を切り替えてみると、テクスチャの効果がわかります。
また、スマホのブラウザでこのページを開き、画面右下のVRヘッドセットマークをクリックし、スマホ用VRゴーグル(家電量販店で2~3千円で買えます)から覗くと、VRでこのモデルを見ることができます。
これは、太平洋戦争中に撃墜された旧大日本帝国軍の飛行機の残骸です。この機体の実物は、陸上に今では世界中でたった二機しか残されておりません。その二機が失われた場合は、海底に埋まっているこの機体だけが当時の機体の形状を正確に教えてくれる資料となります。しかしこの遺跡は海底にあるため、海流により年々劣化していきます。今これを撮りに行っても、全く同じ形状データにはならないでしょう。また、近年、第二次世界大戦で飛んだ航空機の残骸は高値で売れる様になったために、盗掘や破壊の危険が常にあります。この遺跡もいつ盗掘されるかわかりません。
ですので、今のうちにこうした遺跡や建物をフォトグラメトリでデータをアーカイブしてこの様な形で共有しておくべきです。
このSketchFabは、研究者やプロの方だけでなく、誰でも無料で3DCGモデルをアップロードして公開することができます。その方法を第5章で解説します。
写真や静止画だけでなく、映像からもフォトグラメトリソフトウェアで3DCGモデルを生成することができます。写真と同じ題材(撮影対象)を映像で撮って、それを写真と同様にフォトグラメトリにすることができます。写真との違いは、フォトグラメトリソフトウェアに撮った映像をインポートする際に、写真ではなく動画ファイルを指定することだけで、他の処理工程(プロセス)は写真の場合と全く同じです。
写真ではなく動画で撮影する方が、撮影としては簡単で短時間で済むので、常に動画で撮影したいと思う方もいらっしゃるかもしれません。写真と動画のどちらで撮るべきかと言うと、可能な限り写真で撮るべきです。写真では撮る時間が無い場合は、映像で撮るよりはカメラのタイムラプス機能を使って連続写真を撮るべきです。
フォトグラメトリは動画でも可能なわけですが、更にいえば、フォトグラメトリ用に撮った動画でなくても、3DCGモデルを作れる場合があります。写真の場合はフォトグラメトリ用の撮り方をする必要がありますので、一般的な撮り方をした写真だけでは不十分なことが多いです。それに対して、動画の場合は、もし撮影対象を囲む様に撮ってあればフォトグラメトリは成功する確率が高いです。
たとえば、フォトグラメトリを知らずに、過去旅行先でたまたま撮った動画が、ある建物の周囲を回り込む様に撮影していた場合、フォトグラメトリで3DCGモデルを作成できる可能性があります。
したがって、フォトグラメトリ用の撮り方を本書で学ぶ以前に撮られた過去の動画であっても、フォトグラメトリで3DCGモデル構築ができる可能性があるわけです。
更にいえば、ビデオカメラで撮った映像である必要もありません。Youtube等ネットからダウンロードしてきた映像や、テレビ映像や映画でも可能です。第4、6、7章では動画サイトで公開されている空撮映像をダウンロード(著作権フリーのものです)して、それをフォトグラメトリソフトウェアで処理して3DCGモデルを作成しています。
最後に、現実の物体よりは難しくなりますが、3DCGを使ったゲームや、アニメからもフォトグラメトリできます(アニメフォトグラメトリというそうです)。
まとめると、動画撮影によるフォトグラメトリのメリットは以下の通りです。
・写真撮影をする時間が十分に取れないときでも動画撮影によってフォトグラメトリが可能になります(ただしその場合でも、出来れば写真をタイムラプス撮影した方が良いです)。
・そもそも写真撮影ができない対象物であっても、その対象物が映った映像があれば、動画の撮影角度によってはフォトグラメトリが可能になります。
第3章「写真撮影と動画撮影の比較」の節で更に詳しく検討します。
フォトグラメトリの他に、3Dスキャンの代表的な手法としてレーザースキャンと言う方法があり、その為の機器をレーザースキャナーと言います。レーザースキャンの基本的原理はレーダー(Radio Detection And Ranging:RADOR)と同じと言ったらイメージしやすいかもしれません。レーダーが電波を使って物体検出を行う様に、レーザースキャンは光を使って物体検出を行います。即ち、レーザーをある物体に向けて撃ち、返ってきた反射光をセンサーで受光します。レーザーを撃ってから返ってくるまでの時間の長さで、そのスキャナーから物体までの距離を測ります。レーザー送出機とセンサーを回転させながらそれを連続で行うことで、レーザーが当たった物体の形状が計測できます。レーザースキャンのことを、LiDAR (Light Detection And Ranging)スキャンと言う場合もあります。ですので、本書ではレーザー・LiDARスキャナーと併記します。レーザー・LiDARスキャンによって得られたデータを使った3DCGモデル作成は、写真を使っていない以上、フォトグラメトリではありませんが、フォトグラメトリと組み合わせて使われることも多いので、本書でも扱います(第9、15章)。
フォトグラメトリとレーザー・LiDARスキャンは、お互いの欠点を補い合うことができます。それぞれの長所と短所を検討してみます。
改めてフォトグラメトリの長所と短所を考えてみます。フォトグラメトリは高精細な写真を撮ることで、上限無く高精細なデータを取得することができます。写真の枚数さえ十分であれば、撮影対象が小さくても大きくても構いません。また、レーザー・LiDARなどが使えない環境、たとえば水中でも十分な光量があれば、スキャン(撮影)できます。3Dスキャンの手法の中では最も汎用性が高い手法です。短所は、最低でも数十枚の写真を撮らなくてはならないので、レーザー・LiDARに比べてスキャン(撮影)の手間と時間がかかることです。また、撮影者にフォトグラメトリ特有の撮影スキルが必要となり、そのスキルが無い場合は必要な部分を撮影し損ねることもあります。長い撮影時間が必要なことはフォトグラメトリの大きな欠点ですが、タイムラプス撮影を使うことである程度は補うことができます。
レーザー・LiDARの長所は、早くスキャンが終わることです。たとえば、大きな建物や数十平方メートルに及ぶ発掘現場をフォトグラメトリ用に写真撮影する場合は、数時間から場合によっては数日必要です。しかしレーザー・LiDARスキャナーであれば、1時間もかからないでしょう。また、繰り返し撮影ポイントに来ることができない場合や短時間しか撮影可能が時間がない場合、あくまでフォトグラメトリでスキャンする場合であれば、タイムラプスや精度の劣る映像撮影か360°カメラで撮るしかありませんが、レーザー・LiDARスキャナーであれば、通常通り一回のスキャンで高精細なスキャンができます。
欠点はレーザーを送出しなければならないので、レーザーの届かないところはスキャンできないことです。また、極端に小さい物も十分な精度ではスキャンできません。テクスチャーがないため、表面の高精細な画像を得ることができず、たとえば壁画をスキャンする場合はフォトグラメトリに劣ります。しかし一番大きな問題は機材が高価なことです。産業用のであれば数百万円以上します。また扱う要員の研修や訓練にもコストがかかる場合があります。しかし、2020年からiPhone/iPadのPro版にはLiDARスキャナーが搭載される様になりました。これにより安価なソリューションが普及し、手軽にスキャンすることができる様になりました(ただしiPhone/iPadに搭載されているLiDARセンサーは、産業用のLiDARセンサーに比べて精度と有効範囲において劣りますし、熱暴走しやすいです)。iPhone/iPadに搭載されているLiDARスキャナーについては第9章で解説します。
以上の様に、フォトグラメトリにもレーザー・LiDARスキャンにもそれぞれ長所がありますので、可能であれば、両方でスキャン(撮影)するといいでしょう。
この本を読み進めるにあたり、出てくる用語を説明します。
・二次元(2D)情報の座標
二次元情報は紙に書いた絵や写真です。絵や写真はその紙の上の、ある場所とその場所の色が全ての場所についてわかれば、全く同じものが再現されます。その場所を座標といいます。数学的にはXとYの変数で表現できます(X,Y)。デジタル写真は座標をピクセルとして定義し、全てのピクセルに色があれば、レンズに写る二次元情報を再現できます。それがデジタル写真であり、デジタルのコピー機の原理です。
・三次元モデル(3DCGモデル)とその座標
三次元は二次元に加えて、もうひとつの座標(Z軸)があれば、場所を表現できます(X,Y,Z)。ある空間の全ての場所=座標を与えれば、三次元空間上の物体を再現できます。また、その場所全てに色(RGB)を加えれば物体の色や表面の模様も再現できます。フォトグラメトリは、二次元情報を複数使用して三次元情報を再現する技術です。
・スキャン
コピー機は紙を平面(2D)の情報として、全ての座標の色を取得し、またそれをコピー紙に2Dで再現します。また、同じ原理を使って、(紙の)スキャナーは2Dの全ての座標の色を取得します。つまり2Dスキャンです。この考え方でいくと、写真撮影とは、3D空間を2D平面でスキャンすることです。ですので、本書では写真撮影をスキャン(撮影)と表記します。
・ワークフロー
フォトグラメトリのプロセスのうち、データ解析・統合のフェーズにおいて、写真のアラインメント(もしくはアップロード)からテクスチャを貼るまでの一連の作業工程をワークフローと呼びます。要するにPCでの処理の工程です。
・特徴点
レーザー・LiDARスキャンと違い、写真の場合はカメラから何かを送出するわけではありませんので、写真一枚だけでは物体までの距離(三次元の奥行き)がわかりません。しかし、写真の中で、特徴的な模様や物体の輪郭を手がかりにして、同じ模様や物体が写っている他の写真と比べます。それにより、ステレオ写真(立体視)の要領でカメラから物体までの距離を測ります。手がかりとなる特徴的な模様や輪郭のことを特徴点と言います。フォトグラメトリはこの特徴点が写真の中に写っていなければなりません。ですので、鏡、ガラス窓、真っ白な壁などはフォトグラメトリは不得意です。より詳しくは第10章で解説します。
・点群
レーザースキャンや奥行き推測により、被写体までの距離がわかりました。距離がわかると言うことは、三次元上の位置がわかったと言うことです。その位置に点を打ちます。そして、計測・推測できた三次元空間上全ての場所・座標に点を打つと、見かけ上、三次元の物体に見えます。これが点群です。ポイントクラウドとも呼ばれます。点群の密度が高いと、点の集まりではなく物体そのものに見えます。点群の数が多ければ多い程精密に正確に再現していることになります。ただし、多すぎると処理が重くなり、データの容量も多くなります。あまり重すぎるとCGソフトウェアで処理ができないこともありますので、なるべく見かけが悪くならない様に配慮した上で点群の数を少なくする(間引き)ことが多いです。レーザー・LiDARスキャナーのアプリや、フォトグラメトリのソフトウェアの中には、点群を作るだけで、メッシュ構築などは行わないものもあります。そうして出来た点群を操作するソフトウェアとしてCloud Compareというソフトウェアがあり、第18章で解説します。
・ワイヤーフレーム
点群ができたら、点群を構成する各点の、隣あう点同士を線で結びます。多くのフォトグラメトリソフトウェアのデフォルト設定では三角形の面ができる形で点を結びます(ソフトウェアによっては四角形にできたりもします)。線で結んだだけのものをワイヤーフレームといいます。ただ、本書で紹介するフォトグラメトリの工程(ワークフロー)にはワイヤーフレームの製作過程はありませんので、作業をする上でワイヤーフレームのことを意識する必要はありません。
・メッシュ・ポリゴン
ワイヤーフレームによって骨組みができましたので、線と線の間を面で埋めます。それにより、拡大しても物体に見えます。これをメッシュといいます。このメッシュも数が多いほど処理が重くなるため、見かけがあまり変わらない程度に数を減らす(間引き)することが多いです。この段階では面の表面には何も描かれていないので、形だけがわかります(色がわからず形だけの場合は、ソリッドモデルということがあります)。メッシュによって多角形により三次元物体を表現したものを、メッシュモデル、あるいはポリゴンといいます。たとえばゲームでいえば、ファミコン・スーパーファミコン時代のゲームのCGは二次元の絵ですが、プレステ以降のゲームのCGでは三次元のキャラクターや物体、つまりポリゴンを多用しています。本書では基本的にはメッシュと言う名称を使います。
・テクスチャ
メッシュモデルの表面は基本的には色がついていません(ただし、本書で紹介するフォトグラメトリソフトウェアにおいてはメッシュ構築段階で簡易的に色がついています)。そこで、元となる写真から、表面の画像を再構成し、メッシュの表面に貼ります。これが、テクスチャです。テクスチャをメッシュ・ポリゴンの表面に貼ることで、メッシュの数が少なくてもリアルに構成できます。例えば、テクスチャを貼った後、メッシュの頂点数(ポリゴン数)を大幅に削減しても、表面のテクスチャが精細に再現されてあれば、ほとんど見た目は変わらないままデータ量だけを大幅に削減することができます。
・エクスポート
たとえばMicrosoftのWordで文書を作成し、作成途中で中断する場合は、また後で編集できる様に.docまたは.docxファイルにします。これは保存です。作った文書をWord以外のソフトウェアで読める形に、たとえばPDFファイルにして保存することをエクスポートといいます。逆に、Word以外で作られた文書をWordに読み込むことをインポートといいます。フォトグラメトリソフトウェアでは写真データ、つまり画像ファイルをインポートしてから処理します。この場合写真(画像ファイル)を「取り込む」と表記します。フォトグラメトリソフトウェアでは点群、メッシュ、テクスチャと言った形で3DCGモデルが作成されます。それぞれのファイル形式で他のソフトウェアやアプリで利用できる様にエクスポートします。ただし、3DF Zephyr FreeとObject Capture以外のフォトグラメトリソフトウェアでは、エクスポートは有料です。フォトグラメトリのプロセスのうち、データ解析・統合のフェーズはエクスポートをしたら終わりです。
・グラフィックボード・グラフィックカード・GPU
全てのパソコン(PC)にはマザーボードと言う基板の上にCentral Processing Unit(CPU)があり、その性能が処理速度を決めます。しかし、映像・画像関連の処理はCPUだけでは遅すぎるので、ゲーム用のPCや画像処理専用のPCには、外付けのグラフィックボード、あるいはグラフィックカードと呼ばれる、画像処理専用のプロセッサーつまりGraphic Processing Unit(GPU)を積んだ、特別な基板が取り付けられています。これらをGPUデバイスと呼ぶこともあります。フォトグラメトリは画像処理のソフトウェアなので、このGPUを搭載しているかいないかで、処理速度が大きく異なります。
・VR/AR/MR/XR
ここで言うVRはバーチャルリアリティ Virtual Realityの略です。VRはコンピューターによって作られた仮想空間の中を自由に視点を変えて見ることが出来ます(中には、実際に歩いたりすることが出来るものもあります)。CGで作られた仮想空間ではなく、現実の空間の中にコンピューターで作られた画像や3DCGモデルを映りこませることをAR(Argumented Reality)と言います。有名な例はポケモンGOです。本書の第17章「MacOSでARアプリ開発」の節で、フォトグラメトリで作成した3DCGモデルをARで表示するアプリを作ります。そのARで映し出された3DCGモデルを、ただ鑑賞できるだけでなく直接操作できる場合、MicrosoftはそれをMR(Mixed Reality)と呼称しています。このVR/AR/MRを全てまとめて、XRと呼ぶこともあります。
・ソフトウェアのライセンスタイプ
本書では様々な無料・有料のフォトグラメトリソフトウェアあるいは3Dスキャンアプリを紹介しますが、それらを購入するということは、そのソフトウェアやアプリをダウンロードできるだけではなく、使用できるライセンスを買うということです。まず無料版のライセンスは、購入しなくてもソフトウェアやアプリをただダウンロードするだけで使えます。第4章で紹介する3DF Zephyr Freeがその無料版の例です。次に、そのソフトウェアやアプリの全ての機能を使える有料の買い切りライセンスというものがあります。第7章で紹介するMetashapeは買い切りのライセンスです(ただし、Metashapeは買い切りのライセンスを買わなくても、デモモードでほとんどの機能が使えます)。一般的に、ソフトウェアを購入するということはこの買い切りライセンスを購入するという意味になります。この場合は大変高価なことが多いです。次に、全ての機能を使えるし、安価ではありますが、使用できる期間が限定されているサブスクリプション(購読)という形式もあります。第9章で紹介するPolycamがその形式です。最後に、無料で全ての機能が使えるが、3DCGモデルをエクスポートする度に支払う都度払いライセンスという形式もあります。その場合も基本的には安価ですが、その3DCGモデルのデータ量の大きさによって値段が変わります。第6章で解説するReality CaptureのPPIライセンスがその例です。
ライセンスタイプ | ソフトウェアの例 | 該当する章 |
無料 | 3DFZephyrFree、ObjectCapture | 第4、17章 |
買い切り | 3DFZephyr、Metashape、RealityCapture(買い切り) | 第6、7、15、16章 |
都度払い | RealityCapture(PPI)、PhotoCatch(iOSアプリ) | 第6、8、15章 |
サブスクリプション | Polycam | 第9章 |
冒頭の「フォトグラメトリとは」では、フォトグラメトリのプロセスを二つの段階に分けましたが、そこに計画・準備段階と、データ解析・統合後に製作した3DCGモデルを見せるプレゼンテーションの段階を付け加えて、プロセスを4つの段階(フェーズ)にします。
1. 計画・準備
2. スキャン(撮影)
3. データ解析・統合
4. プレゼンテーション
まず、フェース1の計画・準備段階で、計画を立ててフォトグラメトリに必要な機材を揃えます。初心者の方が最初に体験する為に必要な機材については入門編第2章で、これから機材を買う場合については上級編第11章で詳しく解説しています。次にフェーズ2のスキャン(撮影)についてですが、フォトグラメトリの元となる画像データを集めるために写真撮影します。写真撮影のやり方については、入門編ではスマホのカメラを使って撮影します。それについては第3章で解説しています。上級編では第12、13、14章で様々な機材を使って撮影する方法について解説しています。フェーズ3のデータ解析・統合では、フェーズ2の段階で取得した画像や動画等のデータを、フォトグラメトリのソフトウェアで解析・統合します。このフェーズは、さらに以下のプロセスに分かれています。
3. データ解析・統合
・3-1 使用する写真ファイル(フォルダー)の指定、アップロード
・3-2 カメラ位置のアラインメント
・3-3 メッシュ生成
・3-4 テクスチャ構築
・3-5 保存とエクスポート
これらのプロセスを、入門編では第4、6、7章にて、それぞれ違うソフトウェアで、とにかくフォトグラメトリを体験してみます。第15、16章では設定を変えたり調整して、より精細な3DCGモデルを構築します。
最後のフェーズ4のプレゼンテーションでは、作成した3DCGモデルを展示したり公開したりします。具体的な方法については、第5章でSketchFabで公開する方法、第17章「MacOSでARアプリ開発」でARアプリを作る方法、第18章「断面図」の節で断面図を作る方法、などを紹介しています。
フォトグラメトリのプロセスをまとめると以下の様なダイアグラムになります。以降の章では各章の冒頭でこのダイアグラムを使って、その章がフォトグラメトリのプロセスの中のどのフェーズにあるのかを示します。
フォトグラメトリ及びLiDARスキャンを、スマホのアプリで行う場合はこのダイアグラムが少し変化します。それについては、第8、9章の冒頭でアプリで行う場合のダイアグラムを掲載します。
本書において、写真撮影しフォトグラメトリによる3DCGモデルを構築するのは、以下の対象物です。
また、入門編第4、6、7章では、動画サイトから以下のビデオをダウンロードして、動画の中に映っている城をフォトグラメトリしてみます。
Incredible Castle | Royalty Free | Stock Footage | No Copyright Videos https://youtu.be/6tkembqqxFg
データ解析・統合に不可欠なフォトグラメトリソフトウェアは十種類以上ありますが、本書では、その中でもReality Capture(第6、15章)とMetashape(第7、16章)を中心に解説します。どちらもフォトグラメトリのソフトウェアとしては代表的なものであり、これら二つのソフトウェアの操作方法に習熟していれば大抵のことが出来ます。しかし入門編では、まず無料で試していただくことを目的としていますので、最初に解説するのは3DF Zephyr Free(第4章)です。こちらは全ての機能が無料のままで使えますので、初心者の方にも安心してお使いいただけます。Macユーザーの方には、無料でフォトグラメトリが出来るObject Capture(第17章)という選択肢もあります。また、ReatlityCaptureはエクスポート以外は全ての機能が無料で使用することが出来、また、エクスポートする場合もReality Captureの高価なライセンスを買わなくとも数百円程度の料金(作成したモデルの大きさによります)でエクスポート可能です。
iPhone/iPadにはフォトグラメトリのアプリがあります。第8章で紹介します。アプリの場合、iPhone/iPadが写真を写すカメラであると同時に、データ解析・統合を行うPCの役割もします。そのため、スキャン(撮影)したデータを持ち帰ってPCで処理をする必要がありません。従って、フォトグラメトリのプロセスでいえば、フェーズ2とフェーズ3を一台でやってくれます。ですので、スキャンの現場でそのまま3DCGモデルの出来を判別できます。また、前述のフォトグラメトリのプロセスのフェーズ4、プレゼンテーションの機能として、専用のWebサイトにアップロードしてそのままシームレスに公開する機能を有しているものもあります。また、もしiPhone/iPadにLiDARスキャナーが搭載されていれば、それで3Dスキャンすることができます。レーザー・LiDARスキャナーについては既に解説しましたが、フォトグラメトリのアプリと同様に、LiDARスキャンアプリにもデータの解析・統合してくれます。また、専用のWebサイトにアップロードして公開する機能があるLiDARスキャンアプリもあります。LiDARスキャンアプリについては第9章で扱います。
フォトグラメトリは、それが最終的に何を目指しているかによって、プロセスの各段階(フェーズ)で選択する手法が変わります。本書ではフェーズごとに章を分けて手法を解説していきますが、おおよそざっくりとしたフローチャートは以下の様になります。
フォトグラメトリで作成した3DCGモデルの活用事例について考えてみます。フォトグラメトリの一番多い活用事例は、ゲームやアプリに利用されることですが、その他にも、フォトグラメトリは様々なシーンで使われています。いくつか例を見ていきましょう。
遺跡や文化財は、後世に残す為に保護・保存されていますが、それでも、火災や事故や盗掘により失われてしまうことがあります。失われた物であっても、写真を撮ってあれば、その形状を3DCGモデルで再現することが出来たと言う事例があります。
・みんなの首里城デジタル復元プロジェクト
みんなの首里城デジタル復元プロジェクト https://www.our-shurijo.org/
これは2019年に火災で焼失した首里城を、フォトグラメトリで3DCGモデルで再現することを試みたプロジェクトです。フォトグラメトリに使う写真は、焼失前に観光客の方々が撮った写真を集めて行われました。
このプロジェクトは、文化財のデータ保存という点、また多くの方のご協力を得たプロジェクトとして、日本におけるフォトグラメトリの成功事例といえるでしょう。火災を予期していたわけではなかったので、火災の前にはフォトグラメトリにするための写真撮影方法での撮影やレーザースキャンはしていませんでした。が、有名な観光地であった為多くの写真が残されていたことが成功の要因でした。
これが成功するということは、デジカメやスマホの写真さえあれば(一眼レフ等に比べて精度は劣りますが)、建物や文化財が失われたとしても、デジタルデータ上では復元できるということでもあります。もし、火災の前に、予めフォトグラメトリを目的とした撮り方で写真を撮ってあれば、より精密な3DCGモデルで復元できたでしょう。
・ノートルダム大聖堂
次に、フォトグラメトリではないですが、予め精密な3Dスキャンをしていたおかげで、デジタル上で復元できた例を紹介します。パリの象徴であるノートルダム大聖堂は、2019年に火災で一部が焼失し、焼失した部分は二度と正確に復元することは不可能で、歴史遺産としても文化遺産としても大きな損失になってしまいました。しかし、火災の前に、たまたまノートルダム大聖堂を舞台にしたゲームを製作するためにレーザー・LiDARスキャンを行っていた為に、消失した部分を含めた建物全体の正確で詳細な3Dデータが残っていましたので、そのデータを使ってデジタルデータ上で再現できました。ステンドグラスなども形や色を正確に再現できました。消失した部分は永遠に失われてしまいましたが、こうして残ったデジタルデータを使って、今後も歴史・文化研究が継続できるし、そのデータを使って復元した3DCGモデルをVR空間内に配置すれば、疑似的にですが、これからもVRで観光できることになります2。
・グラフィティの保存
次に、まだ失われていませんが、いつ消えてしまうかわからないものを保存する、という例も紹介します。まずは、以下のURLにアクセスしてみてください。
threeds-scan.nira.app https://onl.tw/UTZEyWR
URLを開いたら、「threeds-scan.nira.app」と書かれたボタンを押してください。
まず、「View in 3D」をクリックすると、建物のどこでも3Dで鑑賞できます。左側のメニューバーの、土星の様なアイコンをクリックすると、マウスのドラッグで建物の方が回転し、手のアイコンをクリックすると、マウスのドラッグで建物の方が平行移動し、ヘリのアイコンをクリックすると、マウスのドラッグで視点の方が回転、前進・後退します。これを利用して、建物の中に入ることもできます。
こちらは、無人の建物に描かれた様々なグラフィティ(落書きアート)を写真撮影し、3DCGモデルとして再現したものです。この様に建物全体を再現する場合は、フォトグラメトリではなくレーザー・LiDARスキャナーでスキャンする事が多いのですが、この場合は壁に描かれたグラフィティを精密にテクスチャで再現する為に、数千枚の写真を撮ってフォトグラメトリで製作されました。
こうしたグラフィティが文化遺産かどうかは意見が分かれるでしょうが、いつ消されるか分からないものであることは間違いありません。フォトグラメトリによって、失われる前に、こうした絵と形状の記録を残すことができます。
失われたものではないですが、建物や文化遺産の3DCGモデルもいくつかのWebサイトで公開されています。まずは、博物館による公開事例を紹介します。
・スミソニアン博物館
Smithsonian 3D https://3d.si.edu/
全世界の博物館の中でも特に有名な、アメリカにあるスミソニアン博物館は、展示物の3DCGモデルのアーカイブを公開しています。鑑賞できるだけでなく、多くの高精細なモデルがダウンロードできます。SketchFabと違い、こちらからのアップロードはできません。
スミソニアン博物館自体は、いくつかの博物館の集合体です。以下のサイトでは、傘下の博物館ごとに分けて3DCGモデルを公開しています。
博物館は考古学だけでなく、文化、技術、自然等全ての分野で後世に記録・データを残すことが目的です。フォトグラメトリによって、後世の人類に伝わるアーカイブを充実させることができると言う例です。また、フォトグラメトリによって作成できた3DCGモデルは、博物館のもうひとつの役割である、教育展示にも大きな効果を発揮します。スミソニアン博物館はアメリカのワシントンDCに行けば誰でも入れる場所ですが、渡米する機会がある人は限られています。訪れることができない人にも自宅で博物館の展示を見せることができます。また、360度あらゆる角度から鑑賞できるので、実際の博物館の展示を鑑賞する時よりも自由に見学することができます。
ここで展示されている人類の遺産の例をあげます。このページは、スペースシャトルの3DCGモデルです。
人類の遺産というと考古学的な遺跡が真っ先に思い浮かびますが、遺跡だけでなく、スペースシャトルの様な科学技術の遺産も、デジタルデータとして残しておくべきです。遺跡や歴史的建造物と同様、スペースシャトルやロケット等はいつ失われてもおかしくはありません。また、開発過程で作成されたプロトタイプや運用時の資料が散逸していることが多いので、開発中であったり現役で運行中の宇宙船や航空機も、できる限りフォトグラメトリを目的として撮っておくべきです。
・ Construkted
Construkted Reality https://construkted.com
Construktedは、建物や遺跡と言った人類の遺産の3DCGモデルを表示してくれるだけでなく、それを3D地図上で表示してくれます。先程紹介したSketchFabには、その3DCGモデルがどこでスキャン(撮影)されたかを地図上で表示する機能はありません。例えば、建物や遺跡など、地図上の実際に存在する場所に3DCGモデルを配置出来れば、ただ単に3DCGモデルを再現するだけでなく周囲の場所との関係性が分かりやすくなります。考古学研究や建築にフォトグラメトリを使う場合はその方が便利です。そうした事ができる3DCGモデル共有サイトが、このConstruktedです。主に建築物の3DCGモデルが公開されています。例えば、これはタイのアユタヤの遺跡群(ワット・プラ・シーサンペット)です。
Ayutthaya – Wat Phra Si Sanphet, Thailand https://construkted.com/asset/e63mubnpmg/
・Open Heritage 3D
Open Heritage 3D https://openheritage3d.org/
全世界の遺跡や建築物の3DCGモデルが公開されているのはConstruktedと同じですが、Open Heritage 3Dが特徴的なのは、3DCGモデル(点群データ)だけではなく、それを生成する元となった写真やレーザー・LiDARスキャナーでスキャンした点群データも公開している事です。写真は、地上でカメラで撮影された写真もありますが、ドローンにより撮影された写真も多いです。3DCGモデルを鑑賞するだけならブラウザで可能です。データをダウンロードする場合も、メールアドレスを登録するだけです。データの商用利用は不可です。データの量が膨大なので、十分にHDDやSSDのスペースを空けておく事と、メインメモリの容量が大きいPCを使う必要があります。
例えばこちらは、ヴェトナムのフエにある建築群の廟ですが、一眼レフで撮影された写真と、ドローンによって撮影された写真と、レーザースキャナーによる点群データが揃っています。が、データの容量がとても大きく、一眼レフで撮影された写真のデータは80GBにも及びます。
Complex of Hué Monuments - An Dinh Palace https://openheritage3d.org/project.php?id=4z5b-vz23
次の活用事例は、現時点での様子・瞬間の配置を保存したいときにフォトグラメトリが応用できるという例です。フォレンジック(鑑識や警察鑑定)に必要な現場保存をフォトグラメトリですることができます。
たとえば、犯罪が発生したときは、鑑識や警察鑑定の専門家がその犯行現場の現場保存のために大量に写真を撮って証拠としますが、それを3DCGモデルとして再構成すれば、捜査や検証において大変便利なツールとなります。
犯行現場のフォレンジックにフォトグラメトリが使われた実例は公式にはどこの警察も公開していませんが(おそらく)、その代わり、ジャーナリズムのシーンとしての現場保存のコンテンツを紹介します。
Reconstructing Journalistic Scenes in 3D https://onl.tw/7r59acH
このページに行ったら、ただひたすらスクロールダウンしてください。スマホで見る場合は、上へ上へとスワイプして行ってください。それぞれ画面内にあるの物体の説明と3Dグラフィックがシームレスに統合していて、見せ方が非常にうまいです。
途中で、フォトグラメトリの詳細な説明があります。最後に、フォトグラメトリによる現場保存の例として、360°画像が出現します。画像をみるだけでも理解が深まるので、ぜひアクセスしてみてください。
犯罪だけでなく、事故現場の保存については、ハイエンドなフォトグラメトリソフトウェアであるMetashapeを使って現場保存することを論じた記事があります3。
また、災害時のニュース等に流れる空撮映像から、フォトグラメトリで現場の状況の再現を試みることも行われました。本書で紹介するフォトグラメトリソフトウェアでも十分に可能です。
例えば、こちらはハリケーンによる災害現場をReality Captureで再現した例です。
Capturing the Aftermath of a Category 5 Hurricane https://onl.la/WCz7SPY
元々、フォトグラメトリは、軍隊の偵察部隊が撮影した複数の写真を合成して立体地形を推察するニーズから生まれたことを考えると、こうした活用方法は本来の用途に近いといえます。
人物の全身をフォトグラメトリによって3DCGモデル化することができます(フォトグラメトリ以外の3Dスキャンの方法でも可能です)。人物の3DCGモデルは、ゲームやVRChatなどで、撮影された人物の代わりとして出演するので、人物アバターと呼ばれたりすることがあります。フォトグラメトリは静物に対して行えるものなので、人物を撮影する場合は、撮影中に全く動かないでもらう必要があります。しかし、高精細な3DCGモデルを作る場合は、ほんの少しの動きでも3DCGモデルが歪むので、上手くいきません。対策として、一瞬で撮影対象物を複数のカメラで写すという方法が考えられます。360度全方向から写し、また上下の角度を変えて撮影する必要があるので、最低でも16x3=48方向から写す必要があります。従って48台のカメラやスマホが必要になりますが、それだけの数の一眼レフまたは一眼ミラーレスカメラを揃えると、大変高価になりますので、その代わりに、安い小型コンピューター(Raspberry Piなど)用の安価なカメラを使用することが一般的です。こちらのオープンソースのプロジェクトでは、安価なRaspberry PiとHQ camを使って一瞬で全身を写す Raspberry Pi 3D scannerのシステムを構築しています。
pi3dscan https://www.pi3dscan.com
また、高精細でなくてよければ、ここまで手間をかけなくても、iPhone一台で手軽に人物アバターを作れるアプリもあります。
in3D https://in3d.io
一般に3DCGモデルのプレゼンテーションの方法としては、小物や遺跡等を様々な角度から覗くことができる、VRがよく使われます。しかし、VRはVR酔いの問題があり危険なので鑑賞者が動き回ることができません。それらの問題はAR/MRであれば解消できます。ですので、AR/MRの方が、VRよりも活用の幅が広いと思われます。また、中にはVarjo XM-3の様に、外側のカメラ(AR)とVRを組み合わせたものも存在します。
いくつかあるARグラスのうち、Hololens(MicrosoftはARではなくMRと呼称しています)は、初代から既に三次元空間スキャナーを備えています。これだけで空間スキャンが行えます。
Hololens Spacial Mapping https://onl.tw/Wdwfsnu
他にもHololensにはタイムラプスで自動で写真を撮り続ける機能があるため、Hololensを装着すればカメラを構えることなく、歩き回るだけで空間のスキャンとフォトグラメトリによる3DCGモデル化が行えます。
フォトグラメトリではありませんが、犯行現場をフォトグラメトリした様なAR/MR空間を捜査する体験ができるゲームである「fragments」を紹介します。
fragments https://www.asobostudio.com/games/fragments
Hololensを被り、このゲームを起動すると、現在いる場所の空間(例えば自宅の部屋)をスキャンし、スキャンした空間の形状に合わせてゲームに出てくる椅子や登場人物などがAR (MR)で配置され、部屋の中に犯行現場が再現されます。その再現された犯行現場を実際に歩き回りながら、AR (MR)で表示された物体に触れて捜査をするというゲームです。これは、今後空間の3DCGモデルをどう活用するかのヒントになると思います。
フォトグラメトリは大きな建物や土地も3DCGモデルで再現できます。もっといえば、街やある地域全体も3DCGにできます。
地域や街全体をフォトグラメトリで再現す流には、航空写真からフォトグラメトリします。しかし、高価な使用料を払って飛行機やヘリをチャーターしなくても、ある程度の広さであればドローン(空中)で撮影することができます。
また、ご自身で航空写真を撮りにいかなくても、航空写真を使って立体的な映像を提供しているGoogleEarthで、視点を少しずつ動かしつつ画面をキャプチャしていき、そのキャプチャ画像を写真としてフォトグラメトリソフトウェアに入れて処理すれば3DCGモデルとして再構築できます。ただそれでは、単にGoogle Earthを再現しているだけですので、もっと別の活用方法を考えてみます。
フォトグラメトリでは建物や街並みも3DCGモデルで再現できます。そこに、国土交通省が進めている、3Dデータの公開プロジェクトProject PLATEAUの公開データを組み合わせると、ただの3DCGモデルに別の価値が生まれます。
Project PLATEAU https://www.mlit.go.jp/plateau/
ブラウザでPLATEAU VIEWにアクセスすると、都市部の建物の3DCGモデルがみられます。
PLATEAU VIEW https://plateauview.jp/
Project PLATEAUは東京都23区の都市の全ての建物の3DCGモデルを、それぞれの場所の情報を付加して公開しています。建物の高さ、形状だけを再現していて、実際にどの様に見えるかはこれだけでは分かりません。ここに、フォトグラメトリでスキャンしたテクスチャ付きの3DCGモデルを組み合わせれば、現実の世界をデジタル上で再現することができます。これをデジタルツインといういい方をすることもあります。
なお、ドイツも、全土の地形データを取得していて、一般に公開しています。
opengeodata.nrw.de https://www.opengeodata.nrw.de/produkte/geobasis/
また、デジタルツインの試みとして、東京都は地下鉄の駅の点群データを公開しています。
都営大江戸線 都庁前駅 3D点群データ https://www.geospatial.jp/ckan/dataset/tochomae-3d-pointcloud
点群データは第18章で解説するCloudCompareを使って鑑賞・加工ができます。
フォトグラメトリは写真や映像を解析、統合して立体的で精細な3DCGモデルを作成する技術のことです。今フォトグラメトリの技術を習得して多数の3DCGモデルを作っておくと、将来感謝されます。本章ではフォトグラメトリの用語、4段階のプロセスについて解説し、実例として、SketchFab、Smithonian 3Dなどを紹介しました。また、フォトグラメトリによって作られた3DCGをどの様に活用するかの実例も紹介しました。
本章で説明した概念や用語の、より詳しい説明は第10章をお読みください。