Googleを支える技術 の商品レビュー

西田圭介【著】

2011/07/08

最初に本書の内容はほぼ全てgoogleの発表した論文にあり、英語が読めない人にとってはいい本。
googceのシステムがどのようにして、分散化システムを構築し、そのハードウエアの持てるパワーをいかにひきだしているかがわかる。Googleの検索能力の早さは使用している人ならわかるが、それを支える技術力というのは想像を絶する。
中でも興味深いのは、Googleは
一度検索するとコーヒー2杯分のお湯が沸くといわれるほど電力消費が激しいと言われているが、そのサーバの電力は緻密に計算された上での、最低限の電力消費であり、最高に高いの電力効率で運営されている事がわかる。

2011/07/07

インデックスの話などは押さえておきたい。（転置インデックスなど）
・当然だが、大規模化したシステムとそうで無いシステムは大きく違う。その典型が、GFSとwork queue
cpuバウンドな処理はwork queue 、ioバウンドな処理はGFSというように、スケールアップなシステムを作る。
・Googleなど大規模システムでは、①ソフトウェアでの信頼向上②大量なハードウェアでの負荷分散③コストパフォーマンスの高い安価なハードウェアという観点で大規模システムを作っている。
やはり、ソフトウェアのスキルが重要。
・gfsの概要が理解できた。大規模システムにはなくてはならない、ネットワークファイルシステムだと感じた。冗長性や、スケーラビリティ技術が興味深い。チャンク単位での取り扱いや、マスターの動きなど興味深い。そういったシステムに自分も触れてみたい。
・大規模システムでは、レガシーなスキル、知識も大事だが、大規模を想定した自動運用などの工夫がかなり重要になってくる。そう考えると、今までの手法は通用しないことがよくありそうだ。
・分散dbのbigtableは興味深い。
クライアントはライブラリ経由でのアクセスで、抽象化されたアクセスを行う。唯一のロックが行ロックのようなことらしい。blob型のようなことらしい。xmlデータベースともちかいのかなぁ？
・bigtableのアルゴリズムが難しい。一度で理解できない。最大容量は2EBらしい。
・chubbyという分散ロックサービスがあるらしい。gfsやbigtableの機能を支える基盤技術のようで、排他制御を実現するみたい。また、分散ファイルシステムであり、変更がすぐに反映されるため、dnsサービスとしてもしようしているみたい。
・hadoopのところは興味深い。map とreduceの概要があり、これからどんどん勉強していきたい。
sawzallという分散処理で使われる言語があり、共通化が行われている。rdbmsのsqlみたいなもの。
・プロトコルバッファという、共通のプロセス間通信の仕組みがあるらしい。
・大規模分散システムはとても興味深い。hadoopとか、本当に勉強していきたい。hdfsやpigなどは、googleの分散処理システムのオープンソースプロジェクト。
・電力消費の説明は説得力がある。cpuは最大の消費で大体半分前後を占めているみたい。以前の自分で測定した時のものをみて納得。
『パソコン起動時稼働時80〜100W程度 アイドル時60W前後 電源オフ 5w
パソコンプライムPC
電源オフ 0w フル稼働 89w』
・動作クロックを上げるのは消費電力に大きな影響を与えるらしい。パフォーマンスを20%上げるには1.2*3乗で1.78倍の電力消費になるという話。故に、クロック周波数を上げるのは限度があり、マルチコアCPUの流れにいっている。
・電力消費のところはとても詳しく、かつ、計測データを用いた説得力あるせつめいだとおもった。また、実際の機器のデータシートを元にした電力見積もりと、最適化した電力設備設計ではコストが二倍ほど違うというのも、感心した。
・節電対策としてのクロック周波数のコントロールは確かに有効みたい。実際の変化を計測してみたいものだ。
・hddの故障頻度は温度や読み書き頻度に影響のあるという通説は、疑って見る必要があるらしい。また、smartで障害の予兆は多少分かるみたいだが、それでも64%程度で、残り36%はなかなか予兆がないみたい。なので、壊れても大丈夫なようにシステムを組んでおくことが大事

・全米のデータセンターのスケールにはテンションがあがる。ひとつのさいとあたりに、何十万台という規模のよう。

2011/05/06

Facebookは映画ソーシャルネットワークを見て、その生い立ちを理解したが、Googleについてはほぼ毎日使っている割には、その仕組みを知らなかったので読んでみた。先日、欧州出張の際、ネット接続条件が悪い中Googleだけはそこそこ動いた記憶があったが、Googleシステムの強さの舞台裏の一部を本書で知ることができた。
また、後半、消費電力の話が出てきたのは、今後のITインフラの課題の一つを垣間見ることができ、印象に残った。

2011/04/05

何かの役に立つかというとそうでもない、基本は「へー」と感心しっぱなしの内容。普段の開発と根本的に違うなーとか思いながら読みました。
話のネタにはなるかなーと言う感じです。正直、詳細は理解が及んでません。

2011/03/30

世界最大規模のWeb企業であるGoogleともなると、その規模の大きさから様々な面で特別な配慮をしなければならなくなる。数十万台にもなるサーバの性能を引き出し、また冗長性を保つためのGFS,Bigtable,Chubby,MapReduceなどの分散処理ソフトウェアの解説や、それらサーバの電力消費量を下げるための工夫など、タイトルの通りGoogleを支える技術が上手くまとまっている。
読み物としても十分おもしろい。

2011/03/30

参考にはなる本ですね。詳細な技術説明がほとんどなので、正直半分程度しか理解できませんでしたが…ただ、概念というか大まかな思想と構成はよくわかりました。こういう観点で書かれている本って少ないので、希少な情報ではありますね。Webの中の人はたしなんでおくべきかと。SEOなんかのヒントになることもありそうな。

2010/10/31

Googleのシステムのすごさを感じると同時に、その自動化された機能は映画「Matrix」みたいな感じを覚えました。久しぶりに、システムの本を読むと、こういう分野はまだまだ面白い。

2018/10/20

googleのしくみ本。概説よりも詳しいが、詳解というほど詳しくない微妙な位置づけ。前半はHadoop始める時に役立つかも。後半のハードの話は直近で使えそうなネタがいくつか。ただし実践データだけど科学的な論理付けは記してないという。うーむ。もう一押しあれば良書。

2010/07/22

ビッグテーブルとかチャンクサーバとかすごーいデータセンターとか
GFSとかまぁいろいろと考えてますね

これだけやったら標準を握りたくなるのもわかります

2010/04/05

Googleほどの存在が使う技術というのは、本当に自分が想像もつかないような技術をもっていて、とてもとても理解しがたいところなのかと思っていました。しかし、これを読んでみると、少なくとも「想像はつく」レベルなんだと感じました。自分の立ってる地面の先には、どんなに遠くても同じ地面に Googleはいるのだと。

かといってGoogleたいしたことない、と言ってるわけではありません。
われわれには想像することしかできないことを、Googleはとてつもない規模・精度・技術で、愚直に実行しているのです。
やはり、Google。