スクレイピング 初級

78. Webスクレイピングとは?

Webスクレイピングとは

Webスクレイピングとは、Webページに書かれている情報を、プログラムを使って自動的に取得する技術のことです。「ニュースサイトの見出し一覧を集めたい」「複数のショップの価格を比較したい」というように、人間が手作業でコピー&ペーストする代わりに、コードでまとめて情報を集められます。

Pythonでよく使われる2つのライブラリ

Pythonのスクレイピングでは、requestsというライブラリでWebページ自体を取得し、BeautifulSoupというライブラリでその中身(HTML)を解析する、という組み合わせが定番です。このカテゴリでは、この2つを中心に、実際に手を動かしながら1つずつ学んでいきます。

💡 ヒント:スクレイピングは「技術」と同じくらい「マナー」も大切な分野です。具体的な取得方法に入る前に、次のレッスンで必ず守るべきルールを先に確認しておきましょう。

サンプルコード

# このレッスンではまだコードは書きません。
# 次のレッスンでルールとマナーを確認してから、
# その次のレッスンから実際にPythonでページを取得していきます。
スクレイピングは、正しく使えばとても便利な技術です。まずは「何ができる技術なのか」という全体像をつかみましょう。

📝 練習問題

練習問題:あなたが「スクレイピングしてみたい」と思うWebサイトを1つ思い浮かべ、そこからどんな情報を集めたいか、コメントとして書き出してください。