情報理論 の商品レビュー

今井秀樹(著者)

2013/11/09

奥付：
1984/2/28 1刷

1ビットの意味（確立1/2で生じる結果を知った時に得る情報量）、エントロピーの意味、などなど、今まで何となく使っていたものに意味が与えられてすごく面白かった。

2009/10/04

通信路符号化法に関する7章は読んでいないのだけど…

教科書。教科書以上のものではないけど、教科書として素晴らしいと思った。つまりわかりやすくておもしろい。

同じような情報理論の日本語教科書を見た時はいまいちよくわからなかったのによくわかった。そちらでは、情報源の典型系列の数からエントロピーの概念の導入をしていたが、この本は情報伝達に必要な符号列の平均長としてエントロピーを導入しているのがよかった。

内容はシャノン理論と符合理論が主で、信号理論に関しては少しである、と前書きに書いてあるが、

情報理論の概論
情報源と通信路のモデル
情報源符号化
通信路符号化
通信路符号化法
アナログ情報源・通信路

にわかれている。

細かくは
エルゴード情報源、マルコフ過程、クラフトの不等式、ハフマン符合、情報源のエントロピー、情報量、情報源符号化定理、相互情報量、通信路容量、通信路符号化定理、アナログ情報源に関する標本化定理、アナログ情報源のエントロピー、相互情報量など。