セール中カテゴリ一覧著者一覧

コンピュータ・IT Python Web ビッグデータ

スクレイピング・ハッキング・ラボ　Pythonで自動化する未来型生活

0件

1,980円（税込）

獲得ポイント: 20pt 内訳

通常:

20pt

試し読み

カート追加

ギフト購入

スクレイピング・ハッキング・ラボ　Pythonで自動化する未来型生活

インプレス NextPublishing

齊藤貴義 (著)

発売日 : 2020年12月18日

想定ページ数 : 268ページ

ISBN : 9784844378860

ダウンロード : PDF EPUB

全文検索 : 対応

【2022年4月に内容を改訂しました】本書ではPythonを使ったWebスクレイピングテクニックについて解説します。いろいろなことをPythonで自動化していきましょう。日本の主要なサービスを題材に、スクレイピングでデータを取得する方法と、そのデータを元に分析や可視化していく手法を紹介していきます。スクレイピング環境の構築、スクレイピングを行うにあたって便利なライブラリの選定、ターゲットとなるWebサービスの選定、データ分析の手法など、初心者にもわかりやすく解説しています。

【目次】
第1章　スクレイピングの基礎
第2章　Pythonの導入
第3章　Pythonの環境構築
第4章　Python3の基礎
第5章　Beautiful Soupでスクレイピングする
第6章　スクレイピングのテクニックと考慮すべき点
第7章　PythonからSeleniumでブラウザーを操作する
第8章　Scrapyを使って、はてな匿名ダイアリーをクローリングする
第9章　MeCabとWord2Vecによる自然言語解析
第10章　Pandasによる解析とMatplotlibによる可視化
第11章　スクレイピング結果を自動通知する
第12章　スマートフォンでスクレイピング
第13章　Raspberry Piにポータブル・スクレイピング・ハッキング・ラボを構築する

目次

本書を読むにあたっての注意事項

免責

商標

底本

第1章　スクレイピングの基礎

1.1　スクレイピングとは

1.2　Webサービスの更新情報を取り巻く状況

1.3　スクレイピングの利点

1.4　スクレイピングの問題点

1.5　スクレイピングにPythonを使用する

1.6　本書の対象読者

第2章　Pythonの導入

2.1　Google Colaboratory

2.2　Windowsにインストールする場合

2.3　Macにインストールする場合

2.4　Linuxにインストールする場合

2.5　Pyenvでバージョン管理する場合

2.6　Anacondaでインストールする場合

第3章　Pythonの環境構築

3.1　インタラクティブモードを起動する

3.2　インタラクティブモードでPythonを使用する

3.3　ファイルからPythonを実行する

3.4　Jupyter Notebook

3.5　Chromeデベロッパーツール

3.6　Firefoxウェブ開発ツール

第4章　Python3の基礎

4.1　Hello World

4.2　数値型

4.3　文字列型

4.4　コレクション

4.5　リスト

4.6　タプル

4.7　セット

4.8　辞書

4.9　in演算子

4.10　if文

4.11　for文

4.12　関数

4.13　ファイルの入出力

4.14　ライブラリーの読み込み

4.15　サードパーティライブラリーのインストール

第5章　Beautiful Soupでスクレイピングする

5.1　Wikipediaから「今日は何の日」を取得する

5.2　はてなブックマークから人気エントリを取得する

第6章　スクレイピングのテクニックと考慮すべき点

6.1　robots.txt

6.2　Metaタグのrobots属性

6.3　ユーザーエージェント

6.4　リファラを設定する

6.5　文字列内の特殊文字をエスケープする

6.6　HTTPステータスコード

6.7　文字コード

6.8　相対URLを絶対URLに変換

6.9　RSSフィードのスクレイピング

6.10　画像をスクレイピングする

6.11　PDFをスクレイピングする

6.12　プロキシサーバーの利用

6.13　Torを使ってIPアドレスを変更する

第7章　PythonからSeleniumでブラウザーを操作する

7.1　Seleniumとは

7.2　ChromeDriverのインストール方法

7.3　Firefox GeckoDriverのインストール方法

7.4　PythonからSeleniumでGoogle検索を実行する

7.5　Seleniumの結果をスクレイピングする

7.6　SeleniumでTwitterにログインしてツイート画面を入力する

7.7　Seleniumからスクリーンショットを撮影する

7.8　Chromeをヘッドレスモードで操作する

7.9　ヘッドレスChromeでスクリーンショットを撮影する

第8章　Scrapyを使って、はてな匿名ダイアリーをクローリングする

8.1　Scrapyとは

8.2　Scrapyのインストール

8.3　Scrapyで、はてな匿名ダイアリーのプロジェクトを作成

8.4　Scrapyにはてな匿名ダイアリーを設定する

8.5　Scrapyではてな匿名ダイアリーのURLを抽出する処理を実装する

8.6　Scrapyに、はてな匿名ダイアリーをクロールする処理を実行させる

第9章　MeCabとWord2Vecによる自然言語解析

9.1　MeCab

9.2　Word2Vec

第10章　Pandasによる解析とMatplotlibによる可視化

10.1　Pandasとは

10.2　DataFrameの特徴

10.3　上場企業の平均年収を取得する

10.4　Pandasで必要な情報のみ抽出する

10.5　気象庁の1870年代〜2010年代までの気温の変化を可視化する

10.6　気象庁のデータから100年後の1月の平均気温を時系列予測する

10.7　Jupyter Notebookでグラフを描画する時のテクニック

第11章　スクレイピング結果を自動通知する

11.1　PythonからGmailにメール通知する

11.2　PythonからLINEで更新内容を通知する

11.3　PythonからSlackに通知する

11.4　Pythonからスマートフォンにプッシュ通知する

11.5　Jupyter Notebookの結果をHTML化する

11.6　Googleスプレッドシートに記録する

11.7　静的サイトジェネレーターを使ってHTMLに出力する

11.8　ハローワークのスクレイピング結果をSlackに通知する

第12章　スマートフォンでスクレイピング

12.1　スマートフォンにPythonの実行環境を構築する

12.2　Jupyter Notebook環境をスマートフォンに解放する

12.3　Google Colaboratoryをスマートフォンで開く

12.4　Pydroid 3（Androidの場合）

12.5　Pythonista（iPhoneの場合）

第13章　Raspberry Piにポータブル・スクレイピング・ハッキング・ラボを構築する

13.1　Raspberry Pi OSのインストール

13.2　Raspberry Pi OSの初期設定

13.3　起動時に自動ログイン

13.4　Raspberry Piをインターネットに接続する

13.5　SSHの有効化

13.6　タイムゾーンと時刻調整

13.7　Vimのインストール

13.8　Raspberry PiにJupyter Notebook環境を導入

13.9　Raspberry Pi起動時にJupyter Notebookを実行させる

13.10　Jupyter NotebookからRaspberry Piにコマンドを実行させる

13.11　Raspberry Pi起動時にIPアドレスをSlackに通知する

13.12　Raspberry Piでのスクレイピング結果をPelicanに出力する

13.13　MariaDBのデータベースに格納する

13.14　はてなブックマークの人気エントリのデータを挿入する

13.15　カテゴリー別データを取得する

おわりに

サポートページ

謝辞

参考文献

参考書

参考URL

ユーザーレビュー

レビューがありません