はじめに

本書のコンセプトと構成

ARKitは、ちょっと試すだけなら超簡単です。APIはシンプルだし、Xcodeのテンプレートからサクッと動くものがつくれます。

しかしまた、ものすごく奥深くもあります。レンダリングはSceneKitやMetalと組み合わせられるので、これだけで3Dプログラミングのほぼあらゆるテクニックが使えるということになりますし、カメラからの生の入力データCVPixelBufferにもアクセスできるので、Core Image, Core ML, Vision, Metal, etc…と組み合わせて、画像／動画処理のあらゆるテクニックを駆使できるということにもなります。ARKitが検出している特徴点データや、デプスデータにもアクセスできます。

そんな手軽さも奥深さも兼ね備えるARKit、新機能が追加されるたびにインターネット上では多くのデモやプロトタイプが公開され、iOSアプリ開発者の枠を超えて広く話題になっています。App StoreではARKitのリリースから約半年で対応アプリケーションが約1300万回ダウンロードされたそうです。

本書では、ARKitの「超簡単な導入」から始めて、最終的にはネットやストアで話題になっていたようなアイデアを実装できるようになるところまでをカバーするように構成しました。

• 入門編その１ - 最小実装で体験してみる
• 入門編その２ - 水平面を検出する
• 入門編その３ - 検出した水平面に仮想オブジェクトを置く
• ARKit開発に必須の機能
• 平面検出の基礎
• 画像検出と画像トラッキング
• 3D物体検出と3D物体スキャン
• AR空間におけるインタラクションを実現する
• AR体験の永続化と共有
• フェイストラッキング
• 特徴点を利用する
• デプスを利用する
• オクルージョン
• モーションキャプチャ
• ビデオフォーマット
• アプリケーション実装例１: 現実空間の長さを測る
• アプリケーション実装例２: 空中に絵や文字を描く
• アプリケーション実装例３: Core ML + Vision + ARKit
• Metal + ARKit

「入門編」では、はじめの一歩として、最小実装でARKitを体験します。実にシンプルな実装で強力なAR機能が利用できることを実感していただけることでしょう。

その後は平面を検出する方法、その平面に仮想オブジェクトを設置する方法、そしてその仮想オブジェクトとインタラクションできるようにする方法…と、読み進めるにつれて「作りながら」引き出しが増えていき、最終的にはARKitを用いた巻尺（メジャー）や、空間に絵や文字を描くといった、ARKitならではのアプリケーションの実装ができるよう構成しています。

ARKitのAPIはシンプルとはいえ、リファレンスだけから実装方法を汲み取るのは難しい部分もあります。またAppleのサンプルは動かして試してみたり、ちょっと改変してみたりして用いる分にはいいですが、実装内容は結構複雑で初心者には意図がわかりにくいものになっている面があります。

• ARKitには興味があるけどなかなか手を動かせていない
• 公式サンプルを動かしただけで止まっている
• どこから始めていいかわからない

といった方は、ぜひ本書を手にとってみてください。本書がARKit開発のスタートを切るきっかけになれば幸いです。

動作環境

iOS 13 (ARKit 3) / Swift 5.1 / Xcode 11

サンプルコード

ARKitは現実の空間を利用するフレームワークなので、自分の手元（実機）で実際に動かし体感しながら学んでいくのがベストです。本書のサンプルプロジェクトはhttps://github.com/shu223/ARKitBookにありますので、ぜひXcodeを開いてサンプルを動かし、デバイスを持って歩き回ったりするなど、楽しみながら学んでください。

目次

第1章　入門編その１ - 最小実装で体験してみる

非常に高機能・高性能なARKitですが、シンプルなAPIで簡単に扱えるようになっています。各クラスの役割や詳細な使い方は後述するとして、まずは（約）３行でできるARKitの最小実装を示しますので、「こんなに簡単にできるのか」と実感してもらいつつ、そこからARKitのAPIデザインの大枠を掴んでください。

実はXcodeの「Augmented Reality App」テンプレートからプロジェクトを生成すれば、一行もコードを書かずにそのままビルドしてAR機能が動作するアプリが新規作成できてしまいます。ですが、「非常に簡単に実装できる」という点を体感してもらうためにも、本章では既存プロジェクトに数行のコードを追加してAR機能を構築する、というところから始めます。

1.1　手順１: プロジェクトの準備

プロジェクトの設定やアセットの追加を行います。

まず、ARKitではカメラを利用するので、Info.plistにNSCameraUsageDescriptionキー*1を追加しておきます。

次に、ARKitを用いて「現実世界にオーバーレイするシーン」のデータをプロジェクトに追加します。ここではship.scn（図1.1）というシーンファイル*2と、そこから参照しているtexture.pngを追加*3することにします。

図1.1: ship.scn

1.2　手順２: ViewControllerの実装

ARKitをインポートします。

import ARKit

Interface Builder（以降IB）からARSCNViewオブジェクトを追加*4し、ARSCNViewを保持するプロパティと接続しておきます。

@IBOutlet var sceneView: ARSCNView!

viewDidLoad()に次の3行を追加します。

// シーンを生成してARSCNViewにセット
sceneView.scene = SCNScene(named: "art.scnassets/ship.scn")!

// セッションのコンフィギュレーションを生成
let configuration = ARWorldTrackingConfiguration()

// セッション開始
sceneView.session.run(configuration)

これでもうビルドして実機で動かせるようになりました。アプリを起動してすぐにカメラ入力がスタートするので、周りをグルッと見てください。カメラから見える現実の世界に仮想の飛行機が設置されているはずです。デバイスを持って移動してみても、飛行機は最初の位置にしっかり固定され、色々な角度から見ることができます。

図1.2: 仮想オブジェクトが現実世界に設置され、色々な角度から見ることができる

つまり、わずか3行程度の実装によって、現実世界に仮想シーンをオーバーレイし、デバイスの位置や角度の変化に追従するARの機能が構築できたことになります。

1.3　基本クラスの解説

最小実装での挙動を確認できたところで、上で書いたコードが何をしていたのかを把握するため、出てきたクラスについて簡単に見ていきましょう。

session.run(configuration)

func run(_ configuration: ARConfiguration,
         options: ARSession.RunOptions = [])

session.pause()

ARSCNView

ARKitはコアな処理のみを行い、実際の描画はSceneKitやSpriteKit、Metalが担当します。

図1.3:

特に、3D空間の描画は基本的にSceneKitが担当します。SceneKitには、描画する３次元のシーン（SCNScene）を、UIKitベースのUI階層内で共存して描画するためのSCNViewというUIViewを継承したクラスがあり、

class SCNView : UIView, SCNSceneRenderer, SCNTechniqueSupport

これを継承してARKit関連の機能を持たせたものが、ARSCNViewクラスです。

class ARSCNView : SCNView

ARSCNViewは、上述したARSessionオブジェクトをプロパティで保持しており、また「AR空間におけるインタラクションを実現する」で後述するヒットテストの機能も持っています。すなわちARSCNViewは、「ARKit関連の機能を取り扱いつつ、UIKitベースのUI階層内で３次元シーンを描画するためのクラス」といえます。

前述のコードにはARSessionオブジェクトを生成する処理はありませんでした。ARSCNViewオブジェクトを生成した時点で、そのsessionプロパティにはすでにARSessionオブジェクトが生成されて入っているためです。そのおかげで、ARSCNViewオブジェクトを用意すればあとはセッションをrunするだけ（sceneView.session.run(configuration)）という手軽さでARが実現できるようになっています。

---

[*1] XcodeのInfo.plistエディタでは「Privacy - Camera Usage Description」と表示されます。

[*2] .scnはSceneKit用のシーンのデータを扱うファイルの拡張子です。なお、ここで用いているship.scnはXcodeの「Augmented Reality App」テンプレートに含まれています。

[*3] サンプルではこれらのファイルを、.scnassetsという拡張子のついたSceneKitのアセット管理用フォルダに入れています。

[*4] ViewController直下のUIViewオブジェクトのクラスをARSCNViewに変更するだけでもOKです。

[*5] 第２引数のoptionsに指定できるARSession.RunOptionsは、「ARKit開発に必須の機能」で解説しています。

[*6] 公式リファレンスでは「Surface」と表現されています。平面（Plane）だけではなく曲面も含めるという意味での「Surface」なので、本書では「面」と訳しました。

[*7] ARWorldTrackingConfigurationを使用して水平面を検出する方法については、後の「水平面を検出するためのコンフィギュレーション」で解説します。