ゼロから作るDeep Learning(2) の商品レビュー

斎藤康毅(著者)

2025/10/31

＜OPAC＞
https://opac.jp.net/Opac/NZ07RHV2FVFkRq0-73eaBwfieml/HplQUxQT_r4foF293En4qYGuEun/description.html

2025/09/29

感想がシステムの不具合で消えてしまいました…

が、とても文系向きで優しくいい本でした。一個目の画像処理の本で学んだ用語がちらほら出てきて知識の定着になりました。

2025/08/17

前著とこの書籍とでまずはこの分野のベース、ということでどうにか読了。
とはいえ、かなり読み飛ばさざるを得ないところも多かった。

Transformerが今では当たり前のように使われているけれど、RNNでのつらみがあった中での解決策である、という流れとともに、文量としては限られているが、どういう系譜で今その流れになっているのかという説明が丁寧で、理解を助けてくれるいい記載内容で個人的に好きだった。

2025/02/18

最終章でAttentionが様々な分野で応用できることについて述べた部分は、これまで地道に1からプログラムを実装したことによって実際にどう駆動しているかが高い解像度で理解できたし、ディープラーニングの活用先を考えるための基盤として良書だと思いました。
あと論文にあるモデルの構成図が大まかに理解できるようになりました。

2024/11/21

E資格の勉強用に読了。
配列の操作、各ユニットの役割や演算順序、数式の意味と実装を分かりやすく学ぶことができる。コンピュータ内部では自然言語がこうして数値化されるのかと理解できると感慨深い。

2024/04/18

【社会基盤学科】ベストリーダー2024
第4位
【システム創成学科】ベストリーダー2024
第7位
東京大学にある本はこちら
https://opac.dl.itc.u-tokyo.ac.jp/opac/opac_details/?bibid=2003429863

2024/02/19

# 1周目 読み終えた
適性が低いためなのかどうか、読んでいてあまり楽しいと思えなかった。4章の途中から、このまま読み進めるのが苦痛になってきて、サラッと流してどんな感じのことが書いてあるか把握する程度で終えておいた。またいずれ再挑戦するつもりでいる。そのためには、この分野への関心を高めることで、楽しいと思えるような状態まで持っていく必要がある。いくつも本があるので、色々試してみる。その後でまた戻ってくるようにする。

## 5〜8章を読んだ
➤ 5章 リカレントニューラルネットワーク (RNN)
➤ 6章 ゲート付きRNN
➤ 7章 RNNによる文章生成
➤ 8章 Attention

流し読み。もう少し別のとこで経験を積んでからにする。

## 4章を読んだ ➤ word2vecの高速化
さっと流した。前章の続きとなる。3週間程度間が空いたため、あまり前の内容を覚えていない。むしろ、何も覚えていない。そのときはしっかり読んで理解したつもりでいた。3週間程度でこれほど記憶が風化してしまうのなら、この本を読み終えても、全体に渡ってやはり風化していくことになるのだろう。そうすると、ここの章を時間をかけてじっくり学ぶ必要があるのか、という疑問が湧いた。この章は前章を発展させた内容であるため、それを理解していないと理解が難しいところがある。一度さっと前の章を見直すべきだが、どうも意欲がわかない。こうもあっさり前の内容を忘れてしまうのなら、もう適当に進めてしまおうという気になった。これは悪い兆候だ。たとえ記憶が風化してしまうとしても、それを繰り返していけば、いつかは定着していくことが期待できるので、無駄な学習ではない。もし、ここで適当に流してしまうと、それも難しくなる。今のところ、ディープラーニングに面白さを見いだせていない。面白くないこと、興味がわかないことの学習は効率が著しく悪い。まずはいろんな情報に触れてそこをクリアしたい。つまり、楽しいと思えるようになるまでは軽く流しながらやっていく。楽しみ方が分かったあとでしっかりと学び直すことにする。

## 3章を読んだ ➤ word2vec
前章のものはカウントベースの手法と呼ばれるものらしい。そして、この章で扱うword2vecは推論ベースの手法と呼ばれるらしい。次章以降に本格的なものを示すとして、この章ではわかりやすくシンプルなものを扱われる。そのおかげもあるのだろう、前章のものに比べて特別に難しくなっているということはなかった。また、カウントベースの手法と推論ベースの手法は、現在ではどちらが優れているかは決められないということはないらしい。word2vecは与えられたコンテキスト(文として意味のある単語の並び)を入力としてモデルに与えて、そこから次に出現するであろう単語の出現確率を出力として得る。そのモデルの一つに、この章で取り上げられているCBOWと呼ばれるものがある。もうひとつ有力なものに、skip-gramというものがある。一概にどちらが優れているかとは言いづらいものの、skip-gramを使ったほうが良い結果が得られるらしい。

## 2章を読んだ ➤ 自然言語の単語と分散表現
自然言語処理というものがどのように行われるのか、まったく前知識がなかった。結局の所、数量的な表現に置き換えることで推論可能なデータを獲得する処理であることが分かってきた。おそらく、今後はこの処理を洗練させていくことで精度を上げていくことになるのだろう。自然言語であろうと、コンピューターで扱う以上は計算可能な問題でなければいけない。一見、普通の人にとっては困難そうな問題も、その手法が確立してしまえば、それを学ぶだけで実現可能となる。まだ先は長いがゴールは少し見えてきた。

## 1章を読んだ ➤ ニューラルネットワークの復習
前巻のダイジェストのようなもの。かなり時間が空いてしまったので、すっかり記憶から消え去ってしまったものかと思っていた。読んでいると不思議と思い出されてきた。十分にわかりやすい内容だが、この章だけでは十分な前知識を得ることは難しいだろう。1巻から通して読むことが想定されているものと思われる。

2023/12/26

自然言語処理に用いる「word2vec」のしくみを丁寧に説明している。

P325　Attention

2023/07/09

word2vec、RNN、seq2seqという基本的な技術について詳しく解説されており、自然言語処理に入門するのに最適な構成である。前作と同じく、逆伝播の計算グラフを通して実装を理解していくことができる。

2023/05/29

Attentionの解説章のみ読了。Transformer登場して間もない頃の本なので今の生成系AIの文脈とは使われ方が若干異なるが、基礎的な部分を理解するにはよかった。