なぜWebスクレイピング

　皆さんご存じのとおり、Web上には情報が溢れています。溢れ過ぎて、情報収集に時間がかかり、一番やりたかった分析等の情報活用ができないこともあるでしょう。お手軽にWeb上から情報を収集できればいいのになあ、と思った皆さんは、今まさにスクレイピングを始める時です。

　本書では、Web上のHTMLから必要な情報を取得すること、つまり、Webスクレイピングに着目しました。実装は、Googleが開発したオープンソースの静的型付プログラミング言語であるGo言語を使用しています。

本書の目的

　本書は、Goで何も作ったことがない初心者が、実務でも使えるスクレイピングツールを作ることを通して、Go自体やライブラリの使い方を学ぶことを目的としています。

　本書では、Go言語が枯れていない技術であり、スクレイピングツールがコンテキストによって実装方針が異なることから、筆者が調査や検討を経て「私ならこうする」という考えも交えながら書いています。次のようなものを設計、開発するときの考えのひとつとして、参考にしていただけると幸いです。

　・Go言語を使用したツールの設計

　・Go言語に限らずスクレイピングツールの設計

本書の対象読者

　次の読者に最適な内容となっています。

　・プログラミング経験はあるけど、Goははじめて

　・Goを書いてみたい

　・Goを業務に導入したい

　・スクレイピングツールに興味がある

　WebスクレイピングもGo言語もやったことがないという方でも理解できる内容になっていますので、ぜひ最後までお楽しみください。

本書でのWebサイトのスクレイピングの前提とサンプルサイトについて

　本書では、次のようなページを想定してスクレイピングを学んでいきます。

　・一覧ページと詳細画面のページが存在する

　・日次でページの内容が更新される（今回使用するサンプルサイトは4日間分を用意）

　・詳細画面には、画像とPDFのファイルが存在する

　・一覧ページでページネーションが存在する

サンプルコードについて

　「本書でのWebサイトのスクレイピングの前提とサンプルサイトについて」の仕様を満たすよう、本書ではサンプルサイトのコードをgithub上¹で公開しています。ぜひご利用ください。

　サンプルサイトの起動方法については「1.2 スクレイピング用のサンプルサイトを用意する」に記載していますので、こちらをご覧ください。

　また、本書の最終的なコードはgithub上²で公開しています。ぜひご参考にしてください。

注意事項

本書内のサンプルコードの記載について

　本書では、説明のためにコメントアウトをあえて追加しています。どのようなことが書かれているか理解するために、補助として読んでください。ご自身がコードを書かれる場合は、もちろん不要な記述になります。

電子版でのサンプルコードについて

　書籍としての見た目を重視するために、インデントは2スペースにしています。Go言語ではインデントのデフォルトはハードタブとなっています³ので、本書の記述をコピペする際はお気をつけください。

OSについて

　実行環境は、Mac/Windowsを想定して書いています。しかし、著者の実行環境がWindows11ですので、本書記述内容と実際の挙動で差異が発生する可能性があります。お手数ですが適宜読み替えてください。

各種ライブラリのバージョンについて

　本書は2023年2月時点での筆者環境を元に記述をしています。時を経ることでライブラリのバージョンやAPI、ディファクトスタンダードが変化しますがサポートは原則行いません。ご留意ください。

免責事項

　本書に記載された内容は、情報の提供のみを目的としています。したがって、本書を用いた開発、製作、運用は必ずご自身の責任と判断によって行ってください。本書記載の情報による開発、製作、運用の結果について、著者はいかなる責任も負いません。

　また、ウェブサイトによっては、無許可のスクレイピングを拒否しています（例：Twitter⁴）。そのようなサイトでスクレイピングを行うと、違反行為としてサービスから罰則を受けたり、違法な攻撃として法的に処罰されてしまう可能性もあります。本書はいかなる責任も負いかねますので、ご注意ください。

　なお、本書ではローカル上で簡易のWebサーバを立て、そこに対してスクレイピングを実行します。

表記関係について

　本書に記載されている会社名、製品名などは、一般に各社の登録商標または商標、商品名です。会社名、製品名については、本文中では©、®、™マークなどは表示していません。

謝辞

　短期間でレビューしてくださった@katakoto291さん、@Haradasn1さんありがとうございました。