AWSではじめるデータレイク クラウドによる統合型データリポジトリ構築入門

上原誠(著者), 志村誠(著者), 下佐粉昭(著者), 関山宜孝(著者)

• 販売会社／発売会社: テッキーメディア
• 発売年月日: 2020/07/09
• JAN: 9784910313016

商品レビュー

2026/05/29

AWSではじめるデータレイク
クラウドによる統合型データリポジトリ構築入門
他著：上原 誠
他著：志村 誠
他著：下佐粉 昭
出版社：テッキーメディア

Amazon AWSという、レンタル・サーバをつかって、いろいろな検索システムを作りましょうという本です。

世の中は、大量データばやりである。

データベース、データウェアハウス、データマート、そして、データレイク

データベース（ＤＢ）　検索しやすくしたデータのかたまり
データウェアハウス（ＤＷＨ）　複数のＤＢから、集めたデータを蓄積したデータの倉庫
データマート　部門で使うデータを集めた、小さなＤＷＨ
データレイク　多様なデータの置き場、置き場なので生のデータを置く

■データレイクにいたる道
①表計算ソフト　１００万件ぐらいまで
②ＲＤＢ　ＳＱＬという検索言語、ＪＤＢＣ，ＯＤＢＣといったＩ／Ｆで、アプリとやり取りできる
③ＤＷＨ　複数のＤＢを集積した巨大なＤＢ　Ｈａｄｏｏｐや、Ｈｉｖｅといった分散手法を利用する
④データレイク　いろいろなデータ形式を扱う　生データを収集対象としている
⑤ストリームデータ　リアルタイム分析、リアルタイムダッシュボード

■ＤＷＨ：つかえるデータを用意する

ＥＴＬ
Ｅ：Extract データを各システムから取り出す
Ｔ：Transform　取り出したデータをＤＷＨに保存できるように、きれいにする
Ｌ：Load　きれいにしたデータをＤＷＨに保存する

■データの処理

・バッチ処理　一括してデータを処理する方法
・ストリーム処理　細かいデータがだらだらととめどなく続いているものを処理する方法

■アンデス（ANDES)プロジェクト　Amazonが企画する、アンデス湖というデータレーク、プロジェクト

収集：Amazon Database Migration Service
Amazon Kinesis
Amazon Managed Streamingtor Kafka
保存：Amazon S3
AWS Glue
AWS Lake Formation
変換：AWS Glue
AWS Lake Formation
分析：Amazon GquickSight
Amazon Fersonalize
Amazon Ahena
Amazon Forecast
Amazon Redshift
Amazon Segemaker
Amazon Elasticsearch Service

■蓄積されたデータを分析

①BI　BIツールを使って分析する
②SQL　SQLをつかって、データを操作する
③Python/R 統計解析、機械学習に関するライブラリを使って、分析する

■インデックスと、カタログ

データベースの検索するためのキーが、インデックス
データレイクにどんなデータは格納されているかを記載された台帳、メタデータがカタログ

全世界にある倉庫からさがしものをするのに、カタログがなければ、現場を見に行くしなかない
カタログがあれば、それをみれば、すくなくとも、めぼしはつく

カタログがない、データレイクなどありえない

■ Small file issue

多数のサイズの小さなファイルを処理するのは、非常に難しいという話
オーバヘッドが増大して、効率が低下する

■ログデータの処理

ログを集める
ログを保管する
検索しやすいように、カタログを用意する
ログを加工する
ログを分析する

セキュリティや、運用をも検討に加えて、ＡＷＳを使って、最適なデータ分析基盤を構築することが本書の目的です。

目次

第1部 データレイクの概念と知識

序章 データレイ クを始めよう
第1章 データレイクの構築
第2章 データレイクの活用
第3章 データレイクの運用
第4章 データレイクのセキュリティ

第2部 データレイクの実践（基礎編）

第5章 ハンズオンの概要 ービジネスデータのデータレイクー
第6章 データを可視化する
第7章 サーバーレスSQLによるデータ分析
第8章 データを変換する
第9章 データを分析する（データウェアハウス）

第3部 データレイクの実践（応用編）

第10章 システムの概要 ーログデータのデータレイクー
第11章 ログを集める
第12章 ログの保管とカタログ化
第13章 ログを加工する
第14章 ログを分析する
著者略歴

ISBN：9784910313016
出版社：テッキーメディア
判型：A5
ページ数：392ページ
価格：2800円（本体）
2020年07月09日　第１版第１刷発行

2024/05/24

後半のハンズオンは具体的かつ目的が明確で雰囲気を掴むことができた。
前半の理論と概要について、分かりやすいものの、特定の視線に寄っていたり、AWS特定のサービスについて詳しすぎたりする。はじめて見知るなら、まぁいいのか

2022/02/09

ハンズオン部分はもちろん良いが、序盤のデータレイクの概念とデータ分析の課題など背景的なところの説明が知りたかったところなので非常に役に立った。
ハンズオン部分はやっていないので評価なしの意味で星4。