JS+Node.jsによるWebクローラー/ネットエージェント「開発テクニック」 HTML文法解析から機械学習まで

クジラ飛行机(著者)

• 販売会社／発売会社: ソシム
• 発売年月日: 2015/09/14
• JAN: 9784883379934

商品レビュー

2021/05/09

Web上のデータを集める手法の説明だけではなく集めた情報の活用方法までを提案している本。技術的な面で掘り下げたいのであれば「Pythonクリーニング＆スクレイピング」がよい。

1章 開発環境の準備
　省略

2章 Webデータの収集
　cheerio-httpcliを使ったスクレイピングを解説。対象は青空文庫、Wikipedia。再帰的な方法をつかってサイトを丸ごとDLする方法。定期的にDLする方法など。

3章 ログインの必要なサイトをクロールする
　Flickrサイトの猫の写真をスクショでとって保存する方法、ログインする方法などを紹介。
　Electronを使ってデスクトップアプリをつくってスクショを実行させるなど、いろいろとテンコ盛り

4章 データの整形と保存
　文書の保存に関して文字コードの変換方法を解説。データ形式としてJSON/JSON5/CSON/XML/RSS/YAML/INI/CTV/TSVをNode.jsで扱う方法。ここで突然CoffeeScriptの紹介？
　データの保存としてデータベースを紹介。SQlite3、LevelDBの使い方。青空文庫の作品を保存する例が紹介されている。

5章 形態素解析で日本語を扱う
　MeCabを使ってわかちだちをして文書の要約、文書校正を試みている。WordCountも行っている

6章 クローラのためのデータソース
　有効な情報サイトとしてOpenDataなどの紹介。
TwitterAPIの活用、Facebook、はてなブックマーク、Amazon、Flickr、YouTube、Yahoo!Finance、Wikipedia、の活用

7章 データの分類と予測と機械学習
　ベイジアンフィルタによる分類を使って読み込んだ文書が信長に関する記述なの漱石に関する記述なのかを判定させている
　もう一つの技術である予測に関しては気象データを学習して温度の予測をする。
　人工無能との会話などなど

8章 データの視覚化と応用
　Google Charts,D3を使った視覚化（チャート）

こういったクローリング、スクレイピング本にありがちであるが本執筆時点のサイトの構成と試行した時のサイトの構成が違っており本のとおりにはならないことが数か所あった。そこは応用力でしょう。

2017/12/03

ChatTool用のBOTを作ろうとした時に参考にした本
情報収集の自動化など検討している方にははじめに読むと参考になると思います。技術の紹介や自分がどんなものを作りたいのかの手助けをしてくれると思います。
複数の方法を幅広く紹介しているので習得していない言語への挑戦やツールの選定にも参考になります。

2017/07/23

人が引っ掛かりやすいところを、うまくピックアップして説明してある良書です。技術書は、どうでもいい説明が長くて、大切なポイントが抜け落ちているパターンが多い気がするのですが、この人が書いた本はまた読みたいと感じました。javascriptにあまり詳しくない自分でも簡単に読めたので、上級者には物足りないかもしれません。electron、node.js、javascriptの知識が少ないけど、勉強する必要に迫られたという人が入門書として読む本かなと思いました。