前書き
突然ですが、みなさんオープンデータってご存じですか？その名の通り公開されているデータです。
では、オープンデータを触ったことはありますか？どこのオープンデータを使いましたか？
オープンデータと一口に言っても、企業が公開しているもの、有志団体が公開しているものと様々あります。
本書は日本政府が公開しているオープンデータを提供するサイトの一つ、e-Stat*1を知り、e-Statからオープンデータを取得できるようになるための書籍です。
[*1] https://www.e-stat.go.jp/
詳しくは本文で解説しますが、e-Statは独立行政法人統計センターが運営しているサービスで内閣府や省庁が実施している統計調査の情報を取得できます。政府も利用している統計情報を使うことで、自分が住んでる自治体の税収の比率がどうなっているのかや、住民の年齢別の比率などが分析できるようになります。
本書ではe-Statからデータの取得するAPI部分を中心に解説します。なお、取得したデータを分析用に可視化する部分は、次巻で執筆予定です。
免責事項
本書に記載された内容は、情報の提供のみを目的としています。したがって、本書を用いた開発、製作、運用は、必ずご自身の責任と判断によって行ってください。これらの情報による開発、製作、運用の結果について、著者はいかなる責任も負いません。また、本書は読者がe-Statをより理解し使えるようになることを目的としています。特定の政党の支持や批判をするものではありません。
サンプルプログラム
本書で使用するプログラムはすべてGoogle Colaboratoryで動きます。執筆に使用したサンプルプログラムはGitHubにコピー*2を置いてあるので、是非ご使用ください。
[*2] https://github.com/Shuichiro-T/gijutsushoten11_get_along_with_estat_program
本書執筆の動機
本書執筆の動機を共有させてください。政府が集める統計情報を提供するe-Statですが、認知度が高いとは言えません。さらにAPIの機能ともなると、存在を知らない人がほとんどです。せっかく便利なデータを公開しているので、みなさんにe-Statを知ってもらい、誰もが統計データを使用した正確な分析や未来予測をできるようになって欲しい。という思いから執筆しております。
「統計」と聞くと難しそうなイメージを持つかもしれませんが、統計の中身をみると我々の生き方が数字になっていることが解ります。例えば、あなたが働いた対価にもらった給料が「賃金」という形で集計されたり、あなたが生きていることが「人口」という数字で集計されています。そんな統計データを誰もが効率的に取得して、誰もが分析して明日の過ごし方を議論できるようになることを本シリーズでは目指します。
目次
前書き
第1章 e-Statとは
- 1.1.1 e-Statの運営母体
- 1.1.2 統計センターの業務
- 統計法
- 1.4.1 定義
- 1.4.2 定義とe-Statの役割
第2章 e-Statの機能
- 2.1.1 一覧から探す
- センサス
- 2.1.2 キーワードで探す
- 2.1.3 分野から探す
- 2.1.4 作成した組織から探す
- 2.2.1 グラフで見る
- 2.2.2 データで見る
- 2.2.3 時系列表
第3章 e-Stat API機能の基礎知識
- 3.1.1 GETリクエスト
- 3.1.2 データの形式
- 3.1.3 ZIP圧縮
- 3.1.4 バージョン
- 3.2.1 ユーザ登録
- 3.2.2 アプリケーションIDの発行
- 3.3.1 クレジット表記
- 3.3.2 アプリケーションIDを公開しない
- 3.5.1 APIで提供されているデータ
第4章 よく使うAPI機能の使い方
- 4.1.1 エンドポイント
- 4.1.2 API一覧
- 4.1.3 パラメータ
- 4.1.4 レスポンス
- 4.2.1 機能
- 4.2.2 パラメータ
- 4.2.3 戻り値
- 4.2.4 呼び出し例
- 統計表IDと政府統計コード
- 4.3.1 機能
- 4.3.2 パラメータ
- 4.3.3 戻り値
- 4.3.4 呼び出し例
- 4.4.1 機能
- 4.4.2 パラメータ
- 4.4.3 戻り値
- 4.4.4 呼び出し例
- 4.5.1 縦持ちデータと横持ちデータ
- 4.5.2 縦持ちのメリット
- 4.5.3 具体的なデータ
第5章 さらに便利にAPI機能の使い方
- 5.1.1 機能
- 5.1.2 パラメータ
- 5.1.3 戻り値
- 5.1.4 呼び出し例
- 5.2.1 機能
- 5.2.2 パラメータ
- 5.2.3 戻り値
- 5.2.4 呼び出し例
- 5.3.1 機能
- 5.3.2 パラメータ
- 5.3.3 戻り値
- 5.3.4 呼び出し例
- 5.4.1 機能
- 5.4.2 パラメータ
- 5.4.3 戻り値
- 5.4.4 呼び出し例
あとがき
著者書籍紹介
奥付
第1章 e-Statとは
はじめにe-Statとは何かを知りましょう。具体的な機能や何ができるかは第2章で解説します。この章では政府のどの組織がe-Statを運営して、どのような狙いをもって存在しているのかを学びましょう。
1.1 e-Stat概要
「e-Statは、日本の統計が閲覧できる政府統計ポータルサイトです」
e-Stat Webサイトより引用
e-Statはこの言葉がすべてを表していますが、これだけだと何の解説にもならないので、どこが運営しているかを紐解いて何をするサイトなのかを見ていきます。
1.1.1 e-Statの運営母体
e-Statは独立行政法人統計センター*1が運営しており、統計センターは総務省統計局*2の一部業務を担っています。法人格は皆さんご存じの情報処理推進機構（IPA）*3と同じ独立行政法人で、独立行政法人は中央省庁や内閣府の公共性の高い業務を行っています。
[*1] https://www.nstac.go.jp/
[*2] https://www.stat.go.jp/
[*3] https://www.ipa.go.jp/
1.1.2 統計センターの業務
統計センターの具体的な業務は統計局の組織紹介ページを見ると解りやすいです。統計局は総務省の組織でありながら、経済産業省や厚生労働省といった中央省庁と内閣府、さらには地方自治体の統計情報を横断的に調整しています。これは筆者の感想ですが、胃が痛くなりそうな業務です。統計局自身も統計調査を行っており、代表的なものが「国勢調査」です。2020年にも調査が行われたので記憶に残っている方も多いと思います。
統計局の業務のうち、統計センターは以下の業務を行っています。
- 国勢の基本に関する統計調査の製表
- 公的統計基盤サービスの提供
- 各府省・地方公共団体の統計作成支援
このうち「公的統計基盤サービスの提供」の1つがe-Statを運営する業務です。公的統計基盤サービスは公務員だけでなくすべての国民と企業が使えるサービスで、e-Statもすべての国民と企業が統計情報を見るためのポータルサイトになっています。
言い換えると、e-Statは誰でも使える公的な統計情報を閲覧できるサイトです。
1.2 e-Statの狙い
e-Statはなんのために存在するサービスなのでしょうか。
これを理解するのは2006年（平成18年）に定められた「統計調査等業務の業務・システム最適化計画*4」を見てみるのが早いです。
[*4] https://www.stat.go.jp/info/guide/public/keikaku/keikaku.html
「統計調査等業務の業務・システム最適化計画」の本文（PDF）の11ページ～12ページにある「９．統計情報のワンストップ・サービスの実現」にe-Statのことが書かれており、中央省庁と内閣府に点在していた情報提供機能をe-Statにまとめて効率化する狙いが書かれています。
e-Statにまとめることでサービスの利用者はワンストップで情報を探すことができ、各省庁はそれぞれで情報提供機能を持つ必要がなくなります。
利用者への効率的な情報提供と、各省庁の機能重複の無駄を省くのがe-Statの狙いです。
1.3 e-Statの法的根拠
前節では政府の計画の内容を少し覗いてe-Statの狙いを解説しました。この節ではe-Statがどの法律を根拠にしているかを見てみましょう。
一つご注意いただきたいのは、筆者は法律の専門家ではありません。この節の内容は筆者が法律の一部を解釈し、平易な言葉に表現しなおしたものになっています。必ずしも正しい内容であるとは限らないことをご承知ください。
統計センターの概要及び沿革ページより、統計センターは統計法第三十四条の事務行っていることが解ります。では、統計法第三十四条を見てみましょう。ここに記載している内容は電子政府総合窓口の法令検索機能*5を用いて、2021年5月30日に検索した結果*6を転載しております。
[*5] https://elaws.e-gov.go.jp/
[*6] https://elaws.e-gov.go.jp/document?lawid=419AC0000000053
統計法
第三十四条
行政機関の長又は指定独立行政法人等は、その業務の遂行に支障のない範囲内において、総務省令で定めるところにより、一般からの委託に応じ、その行った統計調査に係る調査票情報を利用して、学術研究の発展に資する統計の作成等その他の行政機関の長又は指定独立行政法人等が行った統計調査に係る調査票情報を利用して行うことについて相当の公益性を有する統計の作成等として総務省令で定めるものを行うことができる。
２
行政機関の長又は指定独立行政法人等は、前項の規定により統計の作成等を行うこととしたときは、総務省令で定めるところにより、次に掲げる事項をインターネットの利用その他の適切な方法により公表するものとする。
一
前項の規定により統計の作成等の委託をした者の氏名又は名称
二
前項の規定により統計の作成等に利用する調査票情報に係る統計調査の名称
三
前二号に掲げるもののほか、総務省令で定める事項
３
行政機関の長又は指定独立行政法人等は、第一項の規定により統計の作成等を行ったときは、総務省令で定めるところにより、次に掲げる事項をインターネットの利用その他の適切な方法により公表するものとする。
一
前項第一号及び第二号に掲げる事項
二
第一項の規定により作成した統計若しくは行った統計的研究の成果又はその概要
三
前二号に掲げるもののほか、総務省令で定める事項
少し分かりづらいですが、算数字が"項"で漢数字が"号"す。項の「１」に関しては書くのが省略されています。この法律を見ると、３項がe-Statの根拠と言えそうです。中央省庁や内閣府は統計を作成したり、統計を用いた研究を行った場合、インターネットを利用して公表する必要が法律によって定められているため、e-Statで公開をしています。
1.4 オープンデータ
「e-Statはオープンデータなの？」
これは良く聞かれる質問です。これはイエスでありノーです。e-Statにはオープンデータであるものとそうでないものが混じっています。これを理解するために、まずはオープンデータの定義から見ていきましょう。
1.4.1 定義
日本行政におけるオープンデータの定義は2012年7月に策定された「電子行政オープンデータ戦略*7」の概要を見るのが解りやすいです。
[*7] https://www.kantei.go.jp/jp/singi/it2/denshigyousei.html
概要の基本原則の中に2つの項目があります。
- 機械判読可能で二次利用が容易な形式で公開すること
- 営利目的、非営利目的を問わず活用を促進すること
1.4.2 定義とe-Statの役割
e-Statは営利目的、非営利目的に関しては満たしてはいるのですが、"械判読可能"に満たせていない部分があります。詳細は次章以降で解説しますが、公開している統計の一部は、人にとって読みやすいPDFやExcelになっており機械判読可能とは言えません。
e-Statは統計データだけでなく、統計を用いた研究を公開する役割を持っているため、e-Statにはオープンデータもあるがオープンじゃないデータもあることになります。
さて、小難しい話が続きましたがe-Statについてなんとなく理解できたのではないでしょうか。次章からはe-Statの具体的な機能について解説していきます。