データ分析基盤 構築入門 Fluentd、Elasticsearch、Kibanaによるログ収集と可視化

鈴木健太(著者), 吉田健太郎(著者), 大谷純(著者), 道井俊介(著者)

• 販売会社／発売会社: 技術評論社
• 発売年月日: 2017/10/01
• JAN: 9784774192185

商品レビュー

2020/03/13

Elasticsearch, Kibana, Fluentdでログを整形して可視化する基盤の構築方法が書かれている。ページ数のわりにほとんどはスクリーンショットと冗長なコードでこれならばインターネットで調べながら学ぶ方がよかったとも思ったが、サンプルコードがGitHubに用意されており、docker-composeでクラスタを立ち上げられるのは良い。ただ、そのコードが一部動かなかったのでGitHubでISSUEを立てたのだが無視され続けている。

2018/10/08

1章 データ分析の概要
2章 ログデータの基礎
3章 データ分析基盤の構築
4章 データ分析基盤の運用
5章 ログ収集ミドルウエアの紹介
　概要の紹介
6章 はじめてみようFluentd
　データ転送ツールであるFluentdの説明。Input->Filter->OutPutとプラグインを活用してストリームデータを流していくデータのルーティングの基本となっているのはタグとラベル。
treasuredata社がメンテナンスしている。
7章 Fluentd設計のこつ
　tailプラグインの使い方、Fluentdノードのデザインパターン。これはFluentdを複数配置させ末端のFluentdノードには無理をさせずアグリゲ－タノードでデータ集約させて通信量を抑えるなど工夫を紹介。Fluentdを多重化配置させ障害につよい構成。
8章 Fluentd運用Tips
　Fluentdの監視、性能評価について紹介。ログ欠損対策であるバッファリングの設定など。
第3部 Elasticsearch,kibanaは省略
Appendix Embulk、Digdag入門
　EmbulkこのツールもおもしろいFluentdと同じ作者さんがつくっているとか

2018/04/07

fluentdは本当にすごい発明だと思う。
データストアと可視化ツールは本書でも触れられているように、Elasticsearch以外に選択肢が沢山ある。

データのストリーミングはfluentd以外もう考えられない。
プラグインを書いてくれている方たちには感謝してる。