メニュー
ログイン 新規登録
コンピュータ・IT プログラミング言語 Python 目的 スクレイピング

スクレイピング・ハッキング・ラボ　Pythonで自動化する未来型生活

インプレス NextPublishing 齊藤 貴義 (著)
発売日: 2020/12/18 想定ページ数: 268ページ ISBN: 9784844378860 全文検索: 対応
★★★★★ ★★★★★ 0件
【2022年4月に内容を改訂しました】本書ではPythonを使ったWebスクレイピングテクニックについて解説します。いろいろなことをPythonで自動化していきましょう。日本の主要なサービスを題材に、スクレイピングでデータを取得する方法と、そのデータを元に分析や可視化していく手法を紹介していきます。スクレイピング環境の構築、スクレイピングを行うにあたって便利なライブラリの選定、ターゲットとなるWebサービスの選定、データ分析の手法など、初心者にもわかりやすく解説しています。

【目次】
第1章　スクレイピングの基礎
第2章　Pythonの導入
第3章　Pythonの環境構築
第4章　Python3の基礎
第5章　Beautiful Soupでスクレイピングする
第6章　スクレイピングのテクニックと考慮すべき点
第7章　PythonからSeleniumでブラウザーを操作する
第8章　Scrapyを使って、はてな匿名ダイアリーをクローリングする
第9章　MeCabとWord2Vecによる自然言語解析
第10章　Pandasによる解析とMatplotlibによる可視化
第11章　スクレイピング結果を自動通知する
第12章　スマートフォンでスクレイピング
第13章　Raspberry Piにポータブル・スクレイピング・ハッキング・ラボを構築する
目次プレビュー
  • 本書を読むにあたっての注意事項
  • 第1章　スクレイピングの基礎
  • 第2章　Pythonの導入
  • 免責
  • 商標
  • 底本
  • 1.1　スクレイピングとは
  • 1.2　Webサービスの更新情報を取り巻く状況
  • 1.3　スクレイピングの利点
  • 1.4　スクレイピングの問題点
  • 1.5　スクレイピングにPythonを使用する
  • 1.6　本書の対象読者
  • 2.1　Google Colaboratory
  • 2.2　Windowsにインストールする場合
  • 2.3　Macにインストールする場合
  • 2.4　Linuxにインストールする場合
  • 2.5　Pyenvでバージョン管理する場合
  • 2.6　Anacondaでインストールする場合
  • 3.1　インタラクティブモードを起動する
  • 3.2　インタラクティブモードでPythonを使用する
  • 3.3　ファイルからPythonを実行する
  • 3.4　Jupyter Notebook
  • 3.5　Chromeデベロッパーツール
  • 3.6　Firefoxウェブ開発ツール
  • 4.1　Hello World
  • 4.2　数値型
  • 4.3　文字列型
  • 4.4　コレクション
  • 4.5　リスト
  • 4.6　タプル
  • 4.7　セット
  • 4.8　辞書
  • 4.9　in演算子
  • 4.10　if文
  • 4.11　for文
  • 4.12　関数
  • 4.13　ファイルの入出力
  • 4.14　ライブラリーの読み込み
  • 4.15　サードパーティライブラリーのインストール
  • 5.1　Wikipediaから「今日は何の日」を取得する
  • 5.2　はてなブックマークから人気エントリを取得する
  • 6.1　robots.txt
  • 6.2　Metaタグのrobots属性
  • 6.3　ユーザーエージェント
  • 6.4　リファラを設定する
  • 6.5　文字列内の特殊文字をエスケープする
  • 6.6　HTTPステータスコード
  • 6.7　文字コード
  • 6.8　相対URLを絶対URLに変換
  • 6.9　RSSフィードのスクレイピング
  • 6.10　画像をスクレイピングする
  • 6.11　PDFをスクレイピングする
  • 6.12　プロキシサーバーの利用
  • 6.13　Torを使ってIPアドレスを変更する
  • 7.1　Seleniumとは
  • 7.2　ChromeDriverのインストール方法
  • 7.3　Firefox GeckoDriverのインストール方法
  • 7.4　PythonからSeleniumでGoogle検索を実行する
  • 7.5　Seleniumの結果をスクレイピングする
  • 7.6　SeleniumでTwitterにログインしてツイート画面を入力する
  • 7.7　Seleniumからスクリーンショットを撮影する
  • 7.8　Chromeをヘッドレスモードで操作する
  • 7.9　ヘッドレスChromeでスクリーンショットを撮影する
  • 8.1　Scrapyとは
  • 8.2　Scrapyのインストール
  • 8.3　Scrapyで、はてな匿名ダイアリーのプロジェクトを作成
  • 8.4　Scrapyにはてな匿名ダイアリーを設定する
  • 8.5　Scrapyではてな匿名ダイアリーのURLを抽出する処理を実装する
  • 8.6　Scrapyに、はてな匿名ダイアリーをクロールする処理を実行させる
  • 9.1　MeCab
  • 9.2　Word2Vec
  • 10.1　Pandasとは
  • 10.2　DataFrameの特徴
  • 10.3　上場企業の平均年収を取得する
  • 10.4　Pandasで必要な情報のみ抽出する
  • 10.5　気象庁の1870年代〜2010年代までの気温の変化を可視化する
  • 10.6　気象庁のデータから100年後の1月の平均気温を時系列予測する
  • 10.7　Jupyter Notebookでグラフを描画する時のテクニック
  • 11.1　PythonからGmailにメール通知する
  • 11.2　PythonからLINEで更新内容を通知する
  • 11.3　PythonからSlackに通知する
  • 11.4　Pythonからスマートフォンにプッシュ通知する
  • 11.5　Jupyter Notebookの結果をHTML化する
  • 11.6　Googleスプレッドシートに記録する
  • 11.7　静的サイトジェネレーターを使ってHTMLに出力する
  • 11.8　ハローワークのスクレイピング結果をSlackに通知する
  • 12.1　スマートフォンにPythonの実行環境を構築する
  • 12.2　Jupyter Notebook環境をスマートフォンに解放する
  • 12.3　Google Colaboratoryをスマートフォンで開く
  • 12.4　Pydroid 3（Androidの場合）
  • 12.5　Pythonista（iPhoneの場合）
  • 13.1　Raspberry Pi OSのインストール
  • 13.2　Raspberry Pi OSの初期設定
  • 13.3　起動時に自動ログイン
  • 13.4　Raspberry Piをインターネットに接続する
  • 13.5　SSHの有効化
  • 13.6　タイムゾーンと時刻調整
  • 13.7　Vimのインストール
  • 13.8　Raspberry PiにJupyter Notebook環境を導入
  • 13.9　Raspberry Pi起動時にJupyter Notebookを実行させる
  • 13.10　Jupyter NotebookからRaspberry Piにコマンドを実行させる
  • 13.11　Raspberry Pi起動時にIPアドレスをSlackに通知する
  • 13.12　Raspberry Piでのスクレイピング結果をPelicanに出力する
  • 13.13　MariaDBのデータベースに格納する
  • 13.14　はてなブックマークの人気エントリのデータを挿入する
  • 13.15　カテゴリー別データを取得する
  • サポートページ
  • 謝辞
  • 参考書
  • 参考URL

まだレビューが投稿されていません

一緒に読まれている本

明後日から使えるAWS 入門 試し読み
明後日から使えるAWS 入門
600円（税込）
KtorとNuxt.jsで作るWebアプリケーション入門 試し読み
KtorとNuxt.jsで作るWebアプリケーション入門
800円（税込）
MNISTから始める深層学習 -PyTorch- 試し読み
MNISTから始める深層学習 -PyTorch-
1,980円（税込）
誰でもわかる！UXデザイン入門書 導入編 試し読み
誰でもわかる！UXデザイン入門書 導入編
550円（税込）