メニュー

はじめてのBigQuery データ基盤・データ分析の第一歩

発売日: 2022/9/2 想定ページ数: 65ページ 全文検索: 対応
★★★★★ ★★★★★ 0件
本書は、Google Cloudが提供しているデータウェアハウスサービス「BigQuery」をメイントピックとして扱います。BigQueryやデータ基盤について知らない方でも最初の一歩として手にとっていただけるように執筆しました。

データ基盤と聞くと、データエンジニアやデータサイエンティスト、機械学習エンジニア、会社によってはITインフラエンジニア・SREが関わることが多いと思いますが、Webエンジニアはクエリ実行することはあれどデータ基盤の構築まで踏み込むことは少ないと思います。

本書は本格的なデータ基盤の構築までは踏み込みませんが、BigQueryへのデータの投入からクエリ実行、ダッシュボードによる可視化をひととおり学べるという本です。50ページ程度のボリュームなのでサクッと読めるはずです。読みながらぜひ手を動かしてBigQueryとその周辺ツールの便利さを体験してもらえればと思っています。

■ 本の構成

第1章 BigQueryをつかってみよう
 1-1 BigQueryの料金体系
 1-2 クエリを実行する
 1-3 クエリを保存する
第2章 データを取り込んでみよう
 2-1 BigQueryへのデータ取り込み方法
 2-2 オープンデータを取り込む
 2-3 効率的なクエリの書き方
第3章 ログを集計・可視化しよう
 3-1 サンプルアプリケーションの構築
 3-2 BigQueryデータセットの作成
 3-3 Cloud Loggingシンクの設定
 3-4 ログを集計する
 3-5 DBデータを取り込む
第4章 可視化しよう
 4-1 データポータルとは
 4-2 COVID-19の感染者数を可視化する
 4-3 Geo Vizで地理空間データを可視化する
 4-4 商品カタログ別のアクセス数を可視化する
 4-5 商品カタログ別の注文数を可視化する
 4-6 ダッシュボードをブラッシュアップする
 4-7 料金について
 4-8 BigQuery BI Engine
第5章 GCPのコストを可視化しよう
 5-1 Cloud Billingとは
 5-2 エクスポートできるコストデータの種類
 5-3 請求データをBigQueryにエクスポートする
 5-4 よく使うカラム
 5-5 クエリ例
 5-6 GCPサービス別に前月比を可視化する

■ 本書で得られること
・BigQueryの料金体系、クエリ実行、テーブル作成に関する基礎知識
・CSVなどのデータファイルの取り込み
・デモアプリをGKEクラスタで構築、アプリケーションログの取り込み
・ダッシュボード作成、データの可視化
・GCPコストの集計・コスト分析について

■ 本書で得られないこと
本書では、次の内容について取り扱っていません。
・ETL処理
・データパイプライン、ワークフロー管理
・リアルタイム分析
・BigQuery、データ基盤のセキュリティ
・機械学習(BigQuery ML)

■ 対象読者
・BigQueryについて聞いたことがある程度の人、初心者
・データ基盤、ログ基盤の構築を任されたけど何をすればいいのかわからない人

■ 前提とする知識
・SQLについての基礎知識

■ サンプル版
BOOTHでサンプル版を無料で頒布しています。
https://booth.pm/ja/items/4149507
目次プレビュー
  • まえがき
  • 第1章 BigQueryをつかってみよう
  • 第2章 データを取り込んでみよう
まえがき
  • 1.1 BigQueryの料金体系
    • 1.1.1 分析(クエリ)
    • 1.1.2 ストレージ
    • 1.1.3 データ取り込み
    • 1.1.4 データ抽出
  • 1.2 クエリを実行する
  • 1.3 クエリを保存する
  • 1.4 まとめ
  • 2.1 BigQueryへのデータ取り込み方法
    • 2.1.1 BigQuery Data Transfer Service
    • 2.1.2 外部データソース
    • 2.1.3 他データセットからのテーブルコピー、CTAS
  • 2.2 オープンデータを取り込む
    • 2.2.1 前準備
    • 2.2.2 BigQuery Data Transfer Serviceでのデータ取り込み
    • 2.2.3 外部データソースでのデータ取り込み
    • 2.2.4 一般公開データセットに対してCTASで取り込み
  • 2.3 効率的なクエリの書き方
    • 2.3.1 必要なカラムのみ選択する
    • 2.3.2 パーティション分割を利用する
  • 2.4 まとめ
  • 3.1 サンプルアプリケーションの構築
  • 3.2 BigQueryデータセットの作成
  • 3.3 Cloud Loggingシンクの設定
  • 3.4 ログ集計する
  • 3.5 DBデータを取り込む
  • 3.6 あと片付け
  • 3.7 まとめ
  • DBデータの継続的な取り込み
  • 4.1 データポータルとは
  • 4.2 COVID‑19の感染者数を可視化する
  • 4.3 Geo Vizで地理空間データを可視化する
  • 4.4 商品カタログ別のアクセス数を可視化する
  • 4.5 商品カタログ別の注文数を可視化する
  • 4.6 ダッシュボードをブラッシュアップする
  • 4.7 料金について
  • 4.8 BigQuery BI Engine
    • 4.8.1 BI Engineの料金
    • 4.8.2 BI Engineの有効化
  • 4.9 まとめ
  • 5.1 Cloud Billingとは
    • 5.1.1 レポートからコストを可視化する
    • 5.1.2 コストデータをBigQueryにエクスポートするメリット
  • 5.2 エクスポートできるコストデータの種類
  • 5.3 請求データをBigQueryにエクスポートする
  • 5.4 よく使うカラム
  • 5.5 クエリ例
    • 5.5.1 クレジットを含む総額の算出
    • 5.5.2 _PARTITIONTIMEカラムによるデータスキャン量の削減
  • 5.6 GCPサービス別に前月比を可視化する
  • 5.7 まとめ
あとがき

まだレビューが投稿されていません