Web開発者のための 大規模サービス技術入門 の商品レビュー

伊藤直也,田中慎司【著】

2011/09/12

「はてなのインターンで行われる大規模技術の紹介」

メモリとディスクのスピードの違い、キャッシュの仕組み、 APはスケールするけどDBはしない、という基礎的な所から、 イマドキなベイジアンフィルタでのカテゴライズ、パーティションの「落とし所」どころまで幅広－く紹介。

ブックマークとかそれぞれのサービスのインフラ規模を惜しげもなく紹介しちゃってたりして、結構あけっぴろげだなあと感心。

2011/07/30

実際の仕事とは関係ないのでさらっと読んだ．ノウハウ的なことが多数書かれていて，Web屋さんのお仕事概要を知るにはいいかと．
てか，ACオートマトンとかSuffixArray忘れててヤバす...

2011/02/11

はてなのインターン向けの講義録。内容は、Web インフラの管理方法、スケールアウトを考慮したアーキテクチャ、検索をメインにしたアルゴリズム。
全体として基本的なことだとは思うが、検索に関しては十分に知らないこともあったので、その点では参考になった。VBCode による効率的な数字エンコード、Trie 構造にリンクを付けることで探索を効率化する AC 法などが参考になった。このあたりでは、課題もついているので、手を動かしてみると面白い。

2010/11/12

大規模なウェブサービスを運営するに当たって必要な事柄が簡潔にまとまっており読みやすい。日本国内のほぼ全てのウェブサービスがこの書籍で想定している規模に入るだろう。ビギナー向けの本ではないので、一歩先を目指す中級者、復習したい上級者にオススメ出来そう。

2011/05/15

CPUのスケーリングは簡単、I/Oのスケーリングが難しい
ページ=仮想メモリの最小単位
Linux はメモリが空いていれば全部キャッシュ
bot 用でサーバ割り振り
起動直後はキャッシュが溜まってない
B+木
MySQL は、インデックスを使わないという自動判断もある程度やってくれる
プリファードインフラストラクチャー
ベイズの定理
自前のサーバ管理ツール
ネットワークの限界 1Gbps->PCルータ、500hosts->1サブネット
500hostsの限界は ARPテーブル
世界各所のサーバからHTTPで 20〜30秒くらいかかる
ジョブキューシステム
ストレージの選択戦略
Hadoop は MapReduce のオープンソース実装

2010/09/15

HatenaのWebサービスのバックエンドの仕組みを広く浅く紹介している。
アルゴリズムの章でページを取りすぎ。それを除けば始めてWebサービスを扱う人が読むと基礎知識のインデックスになるかも

2010/09/01

はてな社のインターンシップ用のプログラムを元に書かれた本。

「はてなダイアリー」や「はてなブックマーク」での実際の運用がベースになっているので、具体的で面白い。積み重ねた経験やノウハウが重要なのが分かる。

これからこの辺りの大規模サーバの技術はますます重要になってくるだろう。通信事業者のレガシーの代表のような音声サービスもVoIPになると基本的には全部サーバ。CPUやメモリの7割ルールなど、運用経験からくる現場の知恵として何となく分かる。

また将来の技術の進化によってコストやパフォーマンスのボトルネックとなる部分も変わってくるので(例えばSSDとか)、継続的なポリシーの見直しも大切。具体的なところ。いずれにせよ、インフラの効率化によるコスト削減と同時にスケーラビリティと信頼性の確保が大事ですね。

IT企業の技術者の重要さを認識して、次のブログのことを思い出した。
「ポール・グレアム「Yahooに起きてしまったこと」」
http://d.hatena.ne.jp/lionfan/20100815#1281830975

2010/08/13

いいです。基礎を立ち返って勉強しなおすのにちょうどいいです。
インターンの学生向けの講義をベースにしているので分かりやすいですし。
入り口、復習にちょうどいい読みやすさです。

2010/07/24

はてなでのインターン向け講習内容を元にした(日本での)大規模DC運営に関して書かれている。
WEBアプリケーションの負荷分散や冗長化について興味があったり実務に関わっているのであれば読んでみるといいのではないでしょうか。
かっこ書き(日本での)大規模としたのは、アメリカではGoogleは言うに及ばずはてなの運用内容を遙かに超えたデータセンター運営会社が数多くあり、そのレベルの運用がはてなではできていないからです。（する必要もないのですが。）

2013/03/29

読み終わって1か月くらいで内容を忘れた。なんだったっけ？新しい技術とかノウハウとかわりと楽しいんだろうけど、どういう風に品質を管理してるかって書いてあったっけかな？また確認しよう。