PythonとScrapyを使ったWebスクレイピング

川原 英明

okt 2021 · インプレス NextPublishing

Teave selle e-raamatu kohta

本書ではWebスクレイピングを、PythonとScrapyフレームワークを利用して行うことをソースコードとともに解説します。Webサイトには多くの情報があり、ブラウザの利用だけでも取得できます。しかし、Webサイトを閲覧するという行為が能動的であり手間と時間を使うことになります。本書はPythonを使って普通のサイトからWebスクレイピングをはじめ、少しづつ難易度を高めていく実践的な内容です。

【目次】
第1章　環境構築
第2章　最初のスクレイピング
第3章　POSTメソッドがあるサイトでスクレイピング
第4章　データベースを使用する
第5章　動的画面のスクレイピング
第6章　Lazy loading画面のスクレイピング
第7章　Dropboxと連携する
第8章　Cloudサービスを使ってスクレイピング
第9章　cloudサービスで定期的実行をする

Teave autori kohta

川原 英明
ファミコンゲームの開発時代からのエンジニア。iモード登場時にはIT企業を経て、SESで大手IT企業で常駐を経験。その後はスタートアップ企業に転職。多くの案件を経験しており、対応できる開発言語は10を超える。得意言語はPerl、Python、PHP、Shell script。2021年秋からは採用関連も担当。