大規模データ管理 エンタープライズアーキテクチャのベストプラクティス

Piethein Strengholt(著者), 村上列(訳者)

• 販売会社／発売会社: オライリー・ジャパン/オーム社
• 発売年月日: 2022/12/02
• JAN: 9784814400089

商品レビュー

2024/07/23

図書館で借りた。
いかにもここ数年のトレンドという本だ。そのトレンド技術の中のミクロな部分に対して専門だと言える部分はあっても、それら全てにおいてマスターしている人間はまず居ないのではないか。それだけ必携な本だと感じる。
タイトルの「データ管理すること」に留まらない。サービス、アーキテクチャの側面から設計・運用するのはもちろん、セキュリティの側面、ガバナンス、価値の創出と、幅広い近年のビジネス・経営が詰まっているとも思う。幅広いだけでなく、そして奥深い。

うーん、これを使いこなすにはまだまだかかりそうだ。私はついていけてはいない。

2022/12/30

ドメイン駆動設計やマイクロサービスといった新しい考え方も紹介して取り入れつつ、大規模にスケールしやすい「データ管理システム」を作る際の考え方について紹介されている。
紹介されている Scaled Architecture では、ドメイン駆動設計(DDD)の考え方をベースに、データ連携を行う際にはドメイン毎に境界をひいて、外部との連携を行うためのインターフェイスを定義することが大事としている。
データと提供する側のドメインのインターフェイスを使うことで、データプロバイダ -> データレイヤー -> データコンシューマー という流れでのデータ連携が素早く開始できるようにするのが、アーキテクチャの目的である。
データレイヤーの作り方は大きく 3 つあり、1) API によるデータアクセス、2)読み取り専用データストアの利用、3) ストリーミングによるデータ連携 である。
2 の読み取りデータストアとしても RDB、NoSQL、あるいはオブジェクトストレージなど状況に応じて選べばよく、特定の技術を指定するものではないので、使用される技術に目新しい概念はないが、データ連携の手法を整理する上での手法を整理されている点は有益だと思う。

アーキテクチャのポイントは、中央集権にしすぎず、データ利用したい人が各々セルフサービスでデータを見つけて、活用を始められるようにするってところだと思う。
中央、共通プラットフォームで機能を提供するものとして、メタデータ登録・管理（どこにどんなアプリ・データがあるのか）やアクセス可否を判定する機能やそのポリシーの管理といった共通的に求められる部分があるが、そこにデータを投入するのはデータプロバイダ/コンシューマーになる。
またデータ連携の際にはデータ共有合意というデータプロバイダ・コンシューマ双方による取り決めを行い、その契約内容をドキュメント化し、その中で定められた用途やアクセス範囲・アクセス者に絞ってデータ連携が行われる。
データガバナンス部門といった専門のチームを作って、ドメインをまたいだデータ連携を促進したり環境を整備する活動が求められる。

以下、所感。

実際にこの考え方を採用できる企業は少ないんじゃないかと感じた。
まずデータプロバイダ側は大変そう。
使われるかわからないデータ活用のために情報整備したりインターフェイス作ったりしないといけないし、そのためのモチベーション本当に生まれるのかな？と思った。
コストメリットあると判断できるのって相当既に大規模にデータ活用してて、社内がカオスになってて、それによるコストが高くなってしまってる状態なんじゃないかと感じた。
既に色んな別部署にデータを提供していて、それによる苦労が多いって状況なら、それを解決するための方針としてはアリかもしれない。
逆に言うと、まだデータ連携事例もなく、これから作り始める段階であれば、最初からこのアーキテクチャ目指すのは厳しいんじゃないかと。
とはいえ、考え方の一部を取り入れるのは良さそう。（そこまで具体的な実装の話は少ないけど）
データプロバイダ側にも新たな業務が生まれるだけでなく、共通部分を管理したりするデータガバナンス部門が求められる点も、実際の企業でのハードルは高いように感じた。

現実的な応用としては、ドメインをまたぐような何らかのデータ連携をやる時に、今後その活動を企業内（外）で横展開しやすいようにするためにどんな仕組みがあると嬉しいのか、の着想を得るための本として使うと良いかも知れない。
「メタデータの収集もいきなり全部やろうとすると破綻するからまずは不可欠なところから始めると良いよ」という説明もあるように、最初から Scaled Architecture を全部作ろうとするんじゃなく、小さく始める取り組みをどう進めると筋が良さそうかを判断する材料として使えると良さそう。

あと本自体の感想としては、書籍全体として実装例や具体例は少ないため、シンプルに何を言ってるかよくわからない部分と、「なんとなく分かった気がするけど実際どうやるの？」という気持ちになった部分もある。
「ここまで話した機能を実現するには OSS だと〜、〜が有名。AWSだと〜、Azureだと〜、GCPだと〜。」といった説明はあるので具体的な実装方法はそこから調べられる部分もあるが、あくまでも考え方を紹介している本だと割り切った方が良さそう。

2022/12/27

データ管理と統合が急速に進化し続ける中、データウェアハウスのようにすべてのデータを一か所に保存すると拡張性が持てなくなるため、データは分散され、技術的ソリューションに従って利用できるようになる必要があるとし、企業が、複雑で緊密に結合したアーキテクチャから、現代のデータ消費に対応できるより柔軟なデータアーキテクチャに移行するための方法や考え方を解説するという書籍です。
1章　データ管理の崩壊

2章　Scaled Architectureの紹介：大規模なデータ管理

3章　膨大な量のデータの管理：読み出し専用データストアアーキテクチャ

4章　サービスとAPI管理：APIアーキテクチャ

5章　イベントとレスポンスの管理：ストリーミングアーキテクチャ

6章　すべてをまとめる

7章　持続可能なデータガバナンスとデータセキュリティ　

8章　データを価値に変える

9章　エンタープライズデータ資産の活用

10章　メタデータによるデータの民主化

11章　おわりに