本書ではWebスクレイピングを、PythonとScrapyフレームワークを利用して行うことをソースコードとともに解説します。Webサイトには多くの情報があり、ブラウザの利用だけでも取得できます。しかし、Webサイトを閲覧するという行為が能動的であり手間と時間を使うことになります。本書はPythonを使って普通のサイトからWebスクレイピングをはじめ、少しづつ難易度を高めていく実践的な内容です。
【目次】
第1章 環境構築
第2章 最初のスクレイピング
第3章 POSTメソッドがあるサイトでスクレイピング
第4章 データベースを使用する
第5章 動的画面のスクレイピング
第6章 Lazy loading画面のスクレイピング
第7章 Dropboxと連携する
第8章 Cloudサービスを使ってスクレイピング
第9章 cloudサービスで定期的実行をする
目次プレビュー
- 前書き
- 第1章 環境構築
- 第2章 最初のスクレイピング
-
1.1 macOSでのPython
-
1.2 Windows 10でのPython
-
1.3 環境を作る
-
1.4 Docker
-
2.1 Scrapyの構成について
-
2.2 プロジェクトの作成
-
2.3 アイテム設定
-
2.4 Scrapyの設定
-
2.5 Spider作成
-
2.6 クローラーの実行
-
2.7 ソースコードについて
-
3.1 プロジェクトの作成
-
3.2 アイテム設定
-
3.3 Spider作成
-
3.4 クローラーの実行
-
3.5 ソースコードについて
-
4.1 ORMの導入
-
4.2 データベースの準備
-
4.3 プロジェクトの作成
-
4.4 アイテム設定
-
4.5 Pipelineの設定
-
4.6 データベースの設定
-
4.7 テーブル情報の作成
-
4.8 Pipeline作成
-
4.9 Spider作成
-
4.10 クローラーの実行
-
4.11 データベースの確認
-
4.12 ソースコードについて
-
5.1 JavaScriptレンダリングの導入
-
5.2 Splashの準備
-
5.3 プロジェクトの作成
-
5.4 アイテム設定
-
5.5 JavaScriptレンダリング用の設定
-
5.6 Spider作成
-
5.7 クローラーの実行
-
5.8 ソースコードについて
-
6.1 前準備
-
6.2 プロジェクトの作成
-
6.3 アイテム設定
-
6.4 Spider作成
-
6.5 クローラーの実行
-
6.6 ソースコードについて
-
7.1 Dropboxとの連携準備
-
7.2 dropboxモジュールの導入
-
7.3 プロジェクトの作成
-
7.4 アイテム設定
-
7.5 Scrapyの設定
-
7.6 Pipeline作成
-
7.7 Spider作成
-
7.8 クローラーの実行
-
7.9 Dropboxと連携するメリット
-
7.10 ソースコードについて
-
8.1 プロジェクトの作成
-
8.2 アイテム設定
-
8.3 Scrapyの設定
-
8.4 Spider作成
-
8.5 クローラーの実行
-
8.6 Cloudサービスでの実行
-
8.7 ソースコードについて
-
9.1 ORMの導入
-
9.2 データベースの準備
-
9.3 プロジェクトの作成
-
9.4 アイテム設定
-
9.5 Pipelineの設定
-
9.6 データベースの設定
-
9.7 テーブル情報の作成
-
9.8 Pipeline作成
-
9.9 Spider作成
-
9.10 クローラーの実行
-
9.11 データベースの確認
-
9.12 Herokuにdeploy
-
9.13 定期実行
-
9.14 ソースコードについて
試し読み
試し読み
試し読み
試し読み
