Pythonクローリング&スクレイピング の商品レビュー

加藤耕太(著者)

2020/02/07

1章 クローリング・スクレイピングとは何か
　Python以外のツールでのクローリング・スクレイピングの
　解説がある。この本では対象はgihyo.jpでのクローリング・
　スクレイピングを解説している。

2章 Pythonで始めるクローリング・スクレイピング
　Pythonの基本的な機能、標準ライブラリでクローリング・スクレイピング
　を行う方法。ページ取得・パース・保存まで、ひとおりやっている。

3章 強力なライブラリの活用
　ページの取得　Requests,Beautiful Soup,pyquery
　データの保存　MySQL

4章 実用のためのメソッド
　robots.txtによるクロール禁止、接続先への過剰負担の禁止など
　実用にあたってのアドバイス。
　エラー処理。訪問先のWebページの変更への対応

5章 クローリング。スクレイピングの実践とデータの活用
　MeCabを活用した自然言語処理、APIを活用したデータ収集
　AmazonAPIを使用した実例、YouTubeAPIの活用事例
　為替データの活用方法、PDFからのデータ抽出
　RoboBrowserによるWebページの自動操作

6章 フレームワークScrapy
　本格的なフレームワークを使用し継続的なクローリング
　スクレイピングが可能となる。

7章 クローラーの継続的な運用・管理
　AmazonEC2の無料枠を使用しサーバーを立ち上げその中で
　クローラーを運用する方法を解説している

2017/03/16

【読書メモ】Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- http://yyy1980.hatenablog.com/entry/2017/01/19/231950