データの書籍一覧

本書ではWebスクレイピングを、PythonとScrapyフレームワークを利用して行うことをソースコードとともに解説します。Webサイトには多くの情報があり、ブラウザの利用だけでも取得できます。しかし、Webサイトを閲覧するという行為が能動的であり手間と時間を使うことになります。本書はPythonを使って普通のサイトからWebスクレイピングをはじめ、少しづつ難易度を高めていく実践的な内容です。

【目次】
第1章　環境構築
第2章　最初のスクレイピング
第3章　POSTメソッドがあるサイトでスクレイピング
第4章　データベースを使用する
第5章　動的画面のスクレイピング
第6章　Lazy loading画面のスクレイピング
第7章　Dropboxと連携する
第8章　Cloudサービスを使ってスクレイピング
第9章　cloudサービスで定期的実行をする

本書はデータベース初心者およびPostgreSQL初心者向けの入門書です。データベースとは何か？からPostgreSQLのインストール、SQLの実行、トランザクションについて、レプリケーション、バックアップまでを解説しています。
【目次】
第1章　データベースを始めよう
第2章　PostgreSQL概要
第3章　PostgreSQLをインストールしよう
第4章　データベースを作成しよう
第5章　テーブルを作ろう
第6章　SQLでデータを操作してみよう
第7章　トランザクションと同時実行制御
第8章　プログラムからPostgreSQLを操作しよう・準備編
第9章　プログラムからPostgreSQLを操作しよう・実践編
第10章　追記型アーキテクチャとVACUUM
第11章　止まらないデータベースシステムを構成しよう
第12章　データが壊れても元に戻せるようにしよう
第13章　性能問題の調査と改善のヒント
第14章　セキュリティと監査
第15章　他のDBMS の紹介
付録A　PostgreSQLのWindowsへのインストール
付録B　GUIでPostgreSQLを操作してみよう

データの利用が企業や組織内で急速に広がる現代において、データ基盤の重要性が高まっています。この増加する関心に応えるため、本書では現役のデータエンジニア2名が、クラウドベースのデータ基盤サービスであるSnowflakeを使用して、効率的かつ効果的なデータ基盤構築の手法を解説します。データの有効活用はもちろん、大量データの処理や機械学習を活用したデータパイプラインの構築に関心があるエンジニアの方々に、具体的な方法論と実践的な知識を提供することを目的としています。フロントエンド、サーバーサイド、インフラストラクチャに関わる技術者の方々に、データ管理と活用の次のステップへの挑戦を促します。

本書は、ビッグデータを分散処理するためのフレームワーク「Apache Spark」のクエリのパフォーマンスチューニングのノウハウを紹介した解説書です。Apache Sparkでのクエリのチューニングのための知識として、基本的なアルゴリズム、ログの見方、チューニングの考え方、Salted Join, Skew Joinなどのチューニングの手法を説明します。
【目次】
第1章　Apache Sparkとは
第2章　チューニングのための情報取得
第3章　基本的なアルゴリズム
第4章　チューニングの考え方
第5章　チューニングの手法

本書は、Streamlitを活用してデータ可視化アプリケーションの開発を一から学べる入門書です。Pythonベースで初心者でも簡単に使えるこのフレームワークの利点や使い方を、詳細に解説しています。本書は、データ分析やデータサイエンスの分野での応用に役立つ基本的な機能、設計方法から、実際のアプリ開発におけるベストプラクティスまで網羅。さらに、Snowflakeとの統合やLLM（大規模言語モデル）を活用した高度なチャットボットの開発方法も扱い、Streamlitの実践的な可能性を探求しています。シンプルなインターフェースと直感的な操作性により、WEB開発の知識がなくても美しいインタラクティブアプリが作成可能です。Pythonの基本知識さえあれば、実務に役立つアプリケーション開発がすぐに始められる一冊です。データ活用を加速させるStreamlitの魅力と将来性を、ぜひ体験してみてください。

【目次】
第1章　Streamlitとは
第2章　基本的な機能
第3章　用意されている便利な関数
第4章　実践的なアプリケーション開発
第5章　Streamlit in Snowflakeでのデータカタログの作成
第6章　StreamlitでChatBotを開発する

本書は、Google Cloudが提供しているデータウェアハウスサービス「BigQuery」をメイントピックとして扱います。BigQueryやデータ基盤について知らない方でも最初の一歩として手にとっていただけるように執筆しました。

データ基盤と聞くと、データエンジニアやデータサイエンティスト、機械学習エンジニア、会社によってはITインフラエンジニア・SREが関わることが多いと思いますが、Webエンジニアはクエリ実行することはあれどデータ基盤の構築まで踏み込むことは少ないと思います。

本書は本格的なデータ基盤の構築までは踏み込みませんが、BigQueryへのデータの投入からクエリ実行、ダッシュボードによる可視化をひととおり学べるという本です。50ページ程度のボリュームなのでサクッと読めるはずです。読みながらぜひ手を動かしてBigQueryとその周辺ツールの便利さを体験してもらえればと思っています。

■ 本の構成

第1章 BigQueryをつかってみよう
　1-1 BigQueryの料金体系
　1-2 クエリを実行する
　1-3 クエリを保存する
第2章 データを取り込んでみよう
　2-1 BigQueryへのデータ取り込み方法
　2-2 オープンデータを取り込む
　2-3 効率的なクエリの書き方
第3章 ログを集計・可視化しよう
　3-1 サンプルアプリケーションの構築
　3-2 BigQueryデータセットの作成
　3-3 Cloud Loggingシンクの設定
　3-4 ログを集計する
　3-5 DBデータを取り込む
第4章 可視化しよう
　4-1 データポータルとは
　4-2 COVID-19の感染者数を可視化する
　4-3 Geo Vizで地理空間データを可視化する
　4-4 商品カタログ別のアクセス数を可視化する
　4-5 商品カタログ別の注文数を可視化する
　4-6 ダッシュボードをブラッシュアップする
　4-7 料金について
　4-8 BigQuery BI Engine
第5章 GCPのコストを可視化しよう
　5-1 Cloud Billingとは
　5-2 エクスポートできるコストデータの種類
　5-3 請求データをBigQueryにエクスポートする
　5-4 よく使うカラム
　5-5 クエリ例
　5-6 GCPサービス別に前月比を可視化する

■ 本書で得られること
・BigQueryの料金体系、クエリ実行、テーブル作成に関する基礎知識
・CSVなどのデータファイルの取り込み
・デモアプリをGKEクラスタで構築、アプリケーションログの取り込み
・ダッシュボード作成、データの可視化
・GCPコストの集計・コスト分析について

■ 本書で得られないこと
本書では、次の内容について取り扱っていません。
・ETL処理
・データパイプライン、ワークフロー管理
・リアルタイム分析
・BigQuery、データ基盤のセキュリティ
・機械学習（BigQuery ML）

■ 対象読者
・BigQueryについて聞いたことがある程度の人、初心者
・データ基盤、ログ基盤の構築を任されたけど何をすればいいのかわからない人

■ 前提とする知識
・SQLについての基礎知識

■ サンプル版
BOOTHでサンプル版を無料で頒布しています。
https://booth.pm/ja/items/4149507

●データの加工や分析の実践スキルを身につけよう
本書は、Pythonやpandasの基礎を身につけた方が、データ分析を行ううえで知っておきたい「データ分析の実務で使うノウハウ」をまとめた書籍です。

さまざまな種類のデータの読み込みから加工、可視化、データの評価、pandasやNumPyの活用方法など、Pythonを使ってデータを加工し分析する方法を詳しく学べます。データ加工のレシピやデータ分析に必要な数学の知識についても学べます。

【本書で学べること】
・データ加工の基礎知識
・データの種類と読み込み
・表形式データの加工
・NumPyと数値データ
・データの評価
・時系列データの処理
・テキスト情報の処理
・画像データの処理
・グラフデータの処理
・地理空間データの処理
・データ分析に必要な線形代数

【本書で学べること】
「Pythonのデータ活用や加工をより詳しく理解したい」「実務でデータ分析をしたい」「幅広いデータ形式の知識を持ちたい」「普段からPythonでデータ分析をしているが、データハンドリングの知識を学びたい／ツールの使い方を調べたい」といった方におすすめの一冊です。

「Elasticsearch NEXT STEP」は入門書の次のステップ（NEXT STEP）に踏み出すための実務事例集です。Elasticsearchはダウンロード、インストールは非常に簡単な製品で数コマンド実行すれば、簡単な操作を可能ですが、環境に考慮した設定でデータ分析などへの活用を考えると非常に難易度が上がり、次の壁を踏み越えるのが大変です。そこで実務での経験を事例集として掲載。読後にはよりElasticsearchが活用できるようになっています。
〈本書の対象読者〉
・Elasticsearchを多少触ったことがある
・実践的な次の一歩を踏み出そうとしている

【目次】
第1章　Elasticsearchで実践するはてなブログの記事解析
1.1　準備
1.2　作業の全体像
1.3　記事の投入
1.4　ダッシュボード作成
1.5　まとめ
第2章　日本語検索エンジンとしてのElasticsearch
2.1　全文検索とは
2.2　全文検索のよくある課題
2.3　対策
2.4　Sudachiとは
2.5　Sudachiを使ってみる
2.6　SudachiのTips
2.7　まとめ
第3章　Elasticsearch SQL
3.1　Elasticsearch SQLの基本機能
3.2　基本的なSQLとAPIの使い方
3.3　データ型一覧、関数一覧
3.4　実践編
3.5　Elasticsearch SQLの仕組み
3.6　CLIの使い方
3.7　JDBCドライバでのアクセス
3.8　まとめ
第4章　はじめてのElasticsearchクラスタ
4.1　クラスタ
4.2　ノードの種類
4.3　シャードとレプリカ
4.4　インデクシングの流れ
4.5　検索の流れ
4.6　データ・ノードの障害検知
4.7　本番運用前にやっておくべきこと
4.8　まとめ

企業や政府・自治体などが一般に公開している各種データがオープンデータです。本書は政府が公開しているオープンデータ「e-Stat」をAPI経由で取得し、分析目的の決め方、Pythonのライブラリpandasで整形、その後Matplotlibでの可視化までを一連の流れとして解説しています。実行環境はWebブラウザがあればすぐ実行できる環境となっており、身近なオープンデータの分析にすぐに活かすことができます。

【目次】
第1章　データ分析の流れ
第2章　e-Statとは
第3章　e-Statの機能
第4章　e-Stat API機能の基礎知識
第5章　よく使うAPI機能の使い方
第6章　さらに便利にAPI機能の使い方
第7章　分析の目的の設定
第8章　データの取得と整形
第9章　データの分析
付録A　Google Colaboratory
付録B　pandasの使い方
付録C　Matplotlibの使い方

近年、Firebaseは個人でのアプリケーション開発を中心に利用が広がっています。 その中心的な機能のひとつであるFirestoreは、2019年1月にGAを迎えたばかりの新しいNoSQLマネージドデータベースであり、 これまでのデータベースにはない特徴を数多く備えている一方で、まだまだ解説も少なく使いこなすのは難しいとお悩みの方も多いのではないでしょうか。本書には筆者が業務でFirestoreに向き合い続けて獲得した、Firestoreを有効かつ安全に利用するためのエッセンスが詰め込まれています。
【目次】
第1章　Firestoreの正体
1.1　Firestoreとはなにか
1.2　Firestoreがもたらす変化
1.3　特徴的な機能
1.4　Cloud Functions
1.5　ロケーション
第2章　データアクセスの基礎
2.1　Firestoreのデータモデル
2.2　単一のドキュメントに対する操作
2.3　クエリによるデータの取得
2.4　リアルタイム・リスナー
2.5　アトミックオペレーション
第3章　オフラインモード
3.1　オフラインモードの有効化
3.2　オフライン時の書き込みオペレーション
3.3　オフライン・データの読み取り
3.4　リアルタイム・リスナー
3.5　キャッシュ優先読み取り
第4章　セキュリティルール
4.1　安全なセキュリティルールを記述するための原則
4.2　ユーザー認証
4.3　スキーマ検証
4.4　データのバリデーション
4.5　アトミックオペレーションのセキュリティルール
4.6　セキュリティルールのテスト
第5章　Firestore データモデリング
5.1　ドキュメント設計の原則
5.2　Firestoreでの1:1リレーション
5.3　Firestoreでの1:nリレーション
5.4　コマンドクエリ責務分離
第6章　Firestoreでユーザーを管理する
6.1　ユーザー管理機能概要
6.2　サインアップ
6.3　会員情報を更新する
6.4　ユーザーの退会処理
第7章　Firestoreでショッピングサイトを実装してみる
7.1　アプリケーション要件概説
7.2　買い物かご
7.3　商品購入
7.4　レビュー機能