本書は、ビッグデータを分散処理するためのフレームワーク「Apache Spark」のクエリのパフォーマンスチューニングのノウハウを紹介した解説書です。Apache Sparkでのクエリのチューニングのための知識として、基本的なアルゴリズム、ログの見方、チューニングの考え方、Salted Join, Skew Joinなどのチューニングの手法を説明します。
【目次】
第1章 Apache Sparkとは
第2章 チューニングのための情報取得
第3章 基本的なアルゴリズム
第4章 チューニングの考え方
第5章 チューニングの手法
目次プレビュー
- はじめに
- 第1章 Apache Sparkとは
- 第2章 チューニングのための情報取得
-
1.1 データベースで扱う処理
-
1.2 ビッグデータのクエリチューニング
-
1.3 Apache Sparkとは
-
2.1 Apache Sparkの環境構築
-
2.2 実行計画の確認
-
2.3 History Serverでのログ確認
-
3.1 MapReduceアルゴリズム
-
3.2 MapReduceによる結合
-
3.3 結合処理の実行計画とイベントログ
-
4.1 基本的な考え方
-
4.2 処理対象データを絞る
-
4.3 通信を減らす（Shuffleを避ける）
-
4.4 不均衡を避ける
-
5.1 Salted Join
-
5.2 Skew Join
-
5.3 範囲のJoin
-
5.4 中間テーブルのPartition化
試し読み
試し読み
試し読み
試し読み
