Googleを支える技術 の商品レビュー

西田圭介【著】

2021/03/23

図書館で借りた。
googleといっても、この本当時は「検索エンジンのgoogle」
とは言え、どのようにシステムが拡大していったのか辿るのは面白い。

2019/01/20

某バイナリアンはどんなところで仕事をするんじゃろ、という興味と、西田さんとお会いするので読んでおきたい！　という２つの理由で読了。

電力のところの考察が面白かった（一部、フェルミ推定に近い試算があって説得力を増していると思う）のと、最後の働き方の章はやはり興味深かった。

あと、いろんな仕組みに対する名前付けがうまい会社だなーと思った。

2018/10/23

googleの検索レスポンスは恐ろしく速い。私は仕事柄、どんなソフトを見ても、なんとなくその構造を想像できるが、googleだけは全くわからない。なぜ、あれほど堅牢に、あれほど正確、あれほど速いのか？それに答えるのが本書である。　まず、最初に一般的な検索サイトの技術要件をて定義し、googleの検索システムの概要説明を行う。大枠のアーキテクチャがなんとなくわかったところで、システムの重要な概念、モジュールであるgfs、bigtabel、MapReduceなどの詳細を解説。ここでのキーワードは、「大容量」である。googleのシステムは、全世界からダウンロードしてきた大量データに特化したアーキテクチャになっている。もう一つのキーワードは、「安いPCを大量に使う」である。安い故に低パフォーマンスのPCを、ネットワークを使用した超並列的分散アーキテクチャでつなぎ合わせ恐ろしいほどのパフォーマンスを安価に実現する。恐るべきgoogleの技術力。　その後、本書では、googleのコストについての推測を試みる。あれだけのデータセンターを持ってしまうと電気代が年間１００億円、PCが３００億円と読む。結構な額だが、売り上げ規模から考えればゴミみたいなものだと思う。しかし、ここでもgoogle魂発揮で、いかに電気代を下げるかと技術的試みを死に物狂いでやっているらしい。恐るべきgoogleのカイゼン魂。　最後に、ソフト開発に代表されるgoogleのマネージメントに言及する。個人の自主性を重んじる、２０％の時間は現在の仕事以外に使う、などの良くあるプラクティス（でも普通の会社は実行できていない）が掲げられている。　全体を通しての感想は、「さすがgoogle。ここまでやるか！」。一つ一つは大したことやっていないが、細かい工夫を山ほど行い最高の企業になっていると思う。

2018/10/07

Googleを支える技術の入り口を見せてくれる本。Googleでは細かい部分まで綿密に設計されていることがわかる。消費電力のくだりは新鮮であり勉強になった。

2018/05/19

「ハードディスクはいつ壊れるか」
年間平均故障率(AFR)…いつどこで作られたかが重要
利用頻度には相関がみられない
温度は低い方が故障しやすい傾向(25℃以下)
故障率に大きく影響するSMART値
①スキャンエラー、②リアロケーション数、③オフラインリアロケーション、④リアロケーション前のセクタ数(ProbationalCount)
SMART値に関係なくいきなり壊れるものもある。
すべてを予測するのは難しく、壊れる前提での設計が必要。

「Googleのソフトウェア開発」
小人数(2～6人)のプロジェクトチーム
就業時間の20%を新しいことに費やす20%ルール
コードレビューを通じてコーディングスタイルを統一
1週間以上の作業を要することには設計ドキュメントを作成
アイディアはDBに登録、オンライン投票で意見を認められると20%プロジェクトスタート
基本設計文書
①背景・目的、②設計、③メンバー、④セキュリティ・プライバシーの考察等、⑤テスト・モニタプラン
デモサイトで意見収集

情報共有
①メーリングリスト・ブログ、②社内ポータル・Wiki・GoogleDocs

プログラミング言語
①C++、②Java、③Python
ちなみに2017/4は、
①C/C++、②Java/JavaScript、③Python、④Go、⑤TypeScript

Googleのプロジェクト管理はWrikeを使用している

2015/07/19

前半はざっくりと検索システムの仕組みについて述べ、その後で Google でどのように実現しているかを解説。
こういうシステム／アーキテクチャに興味がある人には、
面白い本だと思います。

2014/05/08

技術の記述が深すぎて、結構難解。
技術知識が読んでもさっぱり理解できないと思う。
コアに理解している人は楽しいかも。

2013/08/07

技術者にとって興味深い内容がたくさん書いてある。
ただ、実際にそこで開発に携わらない限り必要なさそうな
詳細な記述まであって、ところどころ難解な箇所がある。

2013/05/28

2008 年に書かれた本。内容は技術者向け。ページランクの仕組み、GFS(Google File System)、Bigtable、MapReduce、データセンターの運用コスト・工夫などの、まさに Google ならではの要素について、技術的な側面から解説を行っています。2008 年の段階で、日本語でここまでまとめてくれている書籍はありがたいです。図解も多くて分かりやすい（が、技術的な内容が多いので、読むのに時間がかかります）。

最後の第6章では、技術的な話からうって変わって開発体制の話題が書かれており、20 % ルールをはじめとした Google らしい内容が多いです。5 章までの技術的な話題は、人によっては現場ですぐ使うような機会はないかもしれません。でも、6 章の開発体制の考え方は即現場で取り入れたくなるようなものがあるかもしれませんね。「デバッグするのはつまらない、テストするのがかっこいい」というフレーズは、本当にそうだよなと思いますし、現場でも取り入れていきたい考え方です。

2013/01/01

フォトリーディングNo.53

目的：Google技術をおさらい

トリガーワード：Web検索エンジン、インデックス、クローラ、ランキング、データセンター、クラスタ、分散、GFS、マスタ、チャンクサーバ、クライアント、レコード、スナップショット、障害対策、ビッグテーブル、タブレットサーバ、キャッシュ、コミットログChubby、バックアップ、ロック、イベント、MapReduce、キー、値、シャッフル、分散、grep、分散ソート、アグリゲータ、電力、クロック周波数、SMART値、開発、コードレビュー

質問：①インデックスをどのようにつくって使うのか？
②Googleの初見重要そうな技術は？

～20120616ポストレビューここまで～
～20120619アクティベーションここから～

質問に対するまとめ：
①クローラが収集してリポジトリに格納したWebページを取り出し、インデックスを生成する。
A:構造解析（URIとWeb情報)→B:単語処理（ページ内の単語の位置、装飾）→C（リンク情報（アンカーテキスト）→Dランキング情報（ページランク、アンカーテキスト、単語の位置大きさ）の４つのインデックスを順に追って生成し、検索サーバから利用者へ渡す。
②GFS：Google File System：分散ファイルシステム。多数のマシンで巨大ストレージ。インデックスの更新、参照などに。
ビッグテーブル：GFSより小さなデータを読み書き。DBと多次元マップを合わせたようなデータモデル。クローラの集めたページの格納などに。Google AnalyticsやGoogle Earthにも。
MapReduce:分散処理の基礎技術。インデックス生成過程や分散grep、分散ソートに。Mapでデータから新データを生成し、Reduceでまとめあげる。Key&Vallue。

雑感：知らない用語、内容多数。サービスだけでなく、裏の技術も意識する必要あり。Google云々以前の前提知識が不足しているので、分散処理などは理解しておく。