カテゴリ一覧 著者一覧
スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活
0件
1,980円(税込)
獲得ポイント: 20pt
通常:
20pt

スクレイピング・ハッキング・ラボ Pythonで自動化する未来型生活

発売日: 2020年12月18日
想定ページ数: 268ページ
ISBN: 9784844378860
ダウンロード: PDF EPUB
本書ではPythonを使ったWebスクレイピングテクニックについて解説します。いろいろなことをPythonで自動化していきましょう。日本の主要なサービスを題材に、スクレイピングでデータを取得する方法と、そのデータを元に分析や可視化していく手法を紹介していきます。スクレイピング環境の構築、スクレイピングを行うにあたって便利なライブラリの選定、ターゲットとなるWebサービスの選定、データ分析の手法など、初心者にもわかりやすく解説しています。

【目次】
第1章 スクレイピングの基礎
第2章 Pythonの導入
第3章 Pythonの環境構築
第4章 Python3の基礎
第5章 Beautiful Soupでスクレイピングする
第6章 スクレイピングのテクニックと考慮すべき点
第7章 PythonからSeleniumでブラウザーを操作する
第8章 Scrapyを使って、はてな匿名ダイアリーをクローリングする
第9章 MeCabとWord2Vecによる自然言語解析
第10章 Pandasによる解析とMatplotlibによる可視化
第11章 スクレイピング結果を自動通知する
第12章 スマートフォンでスクレイピング
第13章 Raspberry Piにポータブル・スクレイピング・ハッキング・ラボを構築する

目次

本書を読むにあたっての注意事項

免責
商標
底本

第1章 スクレイピングの基礎

1.1 スクレイピングとは
1.2 Webサービスの更新情報を取り巻く状況
1.3 スクレイピングの利点
1.4 スクレイピングの問題点
1.5 スクレイピングにPythonを使用する
1.6 本書の対象読者

第2章 Pythonの導入

2.1 Google Colaboratory
2.2 Windowsにインストールする場合
2.3 Macにインストールする場合
2.4 Linuxにインストールする場合
2.5 Pyenvでバージョン管理する場合
2.6 Anacondaでインストールする場合

第3章 Pythonの環境構築

3.1 インタラクティブモードを起動する
3.2 インタラクティブモードでPythonを使用する
3.3 ファイルからPythonを実行する
3.4 Jupyter Notebook
3.5 Chromeデベロッパーツール
3.6 Firefoxウェブ開発ツール

第4章 Python3の基礎

4.1 Hello World
4.2 数値型
4.3 文字列型
4.4 コレクション
4.5 リスト
4.6 タプル
4.7 セット
4.8 辞書
4.9 in演算子
4.10 if文
4.11 for文
4.12 関数
4.13 ファイルの入出力
4.14 ライブラリーの読み込み
4.15 サードパーティライブラリーのインストール

第5章 Beautiful Soupでスクレイピングする

5.1 Wikipediaから「今日は何の日」を取得する
5.2 はてなブックマークから人気エントリを取得する

第6章 スクレイピングのテクニックと考慮すべき点

6.1 robots.txt
6.2 Metaタグのrobots属性
6.3 ユーザーエージェント
6.4 リファラを設定する
6.5 文字列内の特殊文字をエスケープする
6.6 HTTPステータスコード
6.7 文字コード
6.8 相対URLを絶対URLに変換
6.9 RSSフィードのスクレイピング
6.10 画像をスクレイピングする
6.11 PDFをスクレイピングする
6.12 プロキシサーバーの利用
6.13 Torを使ってIPアドレスを変更する

第7章 PythonからSeleniumでブラウザーを操作する

7.1 Seleniumとは
7.2 ChromeDriverのインストール方法
7.3 Firefox GeckoDriverのインストール方法
7.4 PythonからSeleniumでGoogle検索を実行する
7.5 Seleniumの結果をスクレイピングする
7.6 SeleniumでTwitterにログインしてツイート画面を入力する
7.7 Seleniumからスクリーンショットを撮影する
7.8 Chromeをヘッドレスモードで操作する
7.9 ヘッドレスChromeでスクリーンショットを撮影する
7.10 webdriver_managerを使用する場合

第8章 Scrapyを使って、はてな匿名ダイアリーをクローリングする

8.1 Scrapyとは
8.2 Scrapyのインストール
8.3 Scrapyで、はてな匿名ダイアリーのプロジェクトを作成
8.4 Scrapyにはてな匿名ダイアリーを設定する
8.5 Scrapyではてな匿名ダイアリーのURLを抽出する処理を実装する
8.6 Scrapyに、はてな匿名ダイアリーをクロールする処理を実行させる

第9章 MeCabとWord2Vecによる自然言語解析

9.1 MeCab
9.2 Word2Vec

第10章 Pandasによる解析とMatplotlibによる可視化

10.1 Pandasとは
10.2 DataFrameの特徴
10.3 上場企業の平均年収を取得する
10.4 Pandasで必要な情報のみ抽出する
10.5 気象庁の1870年代〜2010年代までの気温の変化を可視化する
10.6 気象庁のデータから100年後の1月の平均気温を時系列予測する
10.7 Jupyter Notebookでグラフを描画する時のテクニック

第11章 スクレイピング結果を自動通知する

11.1 PythonからGmailにメール通知する
11.2 PythonからLINEで更新内容を通知する
11.3 PythonからSlackに通知する
11.4 Pythonからスマートフォンにプッシュ通知する
11.5 Jupyter Notebookの結果をHTML化する
11.6 Googleスプレッドシートに記録する
11.7 静的サイトジェネレーターを使ってHTMLに出力する
11.8 ハローワークのスクレイピング結果をSlackに通知する

第12章 スマートフォンでスクレイピング

12.1 スマートフォンにPythonの実行環境を構築する
12.2 Jupyter Notebook環境をスマートフォンに解放する
12.3 Google Colaboratoryをスマートフォンで開く
12.4 Pydroid 3(Androidの場合)
12.5 Pythonista(iPhoneの場合)

第13章 Raspberry Piにポータブル・スクレイピング・ハッキング・ラボを構築する

13.1 Raspbian Buster Liteのインストール
13.2 Raspbian Buster Liteの初期設定
13.3 起動時に自動ログイン
13.4 Raspberry Piをインターネットに接続する
13.5 SSHの有効化
13.6 タイムゾーンと時刻調整
13.7 Vimのインストール
13.8 Raspberry PiにJupyter Notebook環境を導入
13.9 Raspberry Pi起動時にJupyter Notebookを実行させる
13.10 Jupyter NotebookからRaspberry Piにコマンドを実行させる
13.11 Raspberry Pi起動時にIPアドレスをSlackに通知する
13.12 Raspberry Piでのスクレイピング結果をPelicanに出力する
13.13 MariaDBのデータベースに格納する
13.14 はてなブックマークの人気エントリのデータを挿入する
13.15 カテゴリー別データを取得する

おわりに

謝辞

参考文献

参考書
参考URL

ユーザーレビュー

レビューがありません
書籍をシェアする