スクレイピングの書籍一覧

Go言語の初学者を対象とした、Go言語でのスクレイピングツールの作り方の解説書です。
ツールを作りながら依存ライブラリの管理、ORM、ファイルダウンロード、エラーハンドリング、設定ファイル、環境変数の読み込み方法などを学びます。
スクレイピングツールは、スクレイピング対象サイトの更新やページネーションを考慮したツールを作成。付録としてBIツールを使ったデータの可視化についても説明しています。
「Goをやってみたいんだけど、何からやれば…」という方におすすめの一冊です。

【目次】
第1章　開発環境構築
第2章　プロジェクト作成
第3章　一覧画面からの商品情報取得
第4章　データベース接続とデータの登録
第5章　詳細画面からの商品情報取得
第6章　さらに使いこなす
第7章　応用編 BIツールによる分析

本書は、『Node.js』の導入からWebスクレイピングの実施までの流れを、サンプルコードを中心に学ぶ解説書です。『Node.js』の開発環境の構築、「node」や「npm」コマンドの利用方法やJavaScriptの駆け足での基礎知識をはじめとして、「node-fetch」「jsdom」を利用したファイルのダウンロードやHTMLのパース。「Puppeteer」を利用したWebブラウザの操作や情報の取得などについて詳しく紹介しています。

【目次】
第1章　前提知識と開発環境の構築
第2章　nodeコマンドとnpmコマンド
第3章　プロジェクトの作成と実行
第4章　JavaScript速習1 基本
第5章　JavaScript速習2 配列やオブジェクト
第6章　JavaScript速習3 関数、制御構文他
第7章　JavaScript速習4 非同期処理とPromise
第8章　コア モジュールとnpmモジュール
第9章　シンプルなアプリケーションの作成
第10章　fsモジュールとpathモジュール
第11章　自作モジュール
第12章　ダウンロードとパース
第13章　Puppeteerを利用したスクレイピング
第14章　Puppeteerを利用したフォーム操作
第15章　サンプル用ローカル サーバー
第16章　Puppeteerを利用した画像とPDFのダウンロード

本書は、スクレイピングやAPIアクセスを用いて、自動で商品などの価格をチェックする方法を解説しています。もちろんそれだけではなく、SlackやDiscordと連携したチャットボット経由でデータを登録したり、チャンネルに対して結果を知らせることもできます。また、実行基盤としてはGoogle Cloudを利用し、コンテナやサーバレス、果てはKubernetesなど様々な環境で動作させるよう構築します。
2020年～2021年の技術トレンドが盛りだくさんとなっており、これらの技術やクラウドの利用例を知りたいという方にも最適な1冊となっています。

【目次】
第1章　作業準備をする
第2章　アプリケーションを構築する
第3章　チャットとの連携を設定する
第4章　各環境にデプロイする
第5章　自動でデプロイする

本書ではWebスクレイピングを、PythonとScrapyフレームワークを利用して行うことをソースコードとともに解説します。Webサイトには多くの情報があり、ブラウザの利用だけでも取得できます。しかし、Webサイトを閲覧するという行為が能動的であり手間と時間を使うことになります。本書はPythonを使って普通のサイトからWebスクレイピングをはじめ、少しづつ難易度を高めていく実践的な内容です。

【目次】
第1章　環境構築
第2章　最初のスクレイピング
第3章　POSTメソッドがあるサイトでスクレイピング
第4章　データベースを使用する
第5章　動的画面のスクレイピング
第6章　Lazy loading画面のスクレイピング
第7章　Dropboxと連携する
第8章　Cloudサービスを使ってスクレイピング
第9章　cloudサービスで定期的実行をする