ゼロから作るDeep Learning(2) 自然言語処理編

斎藤康毅(著者)

• 販売会社／発売会社: オライリー・ジャパン
• 発売年月日: 2018/07/21
• JAN: 9784873118369

商品レビュー

2024/04/18

【社会基盤学科】ベストリーダー2024
第4位
【システム創成学科】ベストリーダー2024
第7位
東京大学にある本はこちら
https://opac.dl.itc.u-tokyo.ac.jp/opac/opac_details/?bibid=2003429863

2024/01/16

# 1周目 読み終えた
適性が低いためなのかどうか、読んでいてあまり楽しいと思えなかった。4章の途中から、このまま読み進めるのが苦痛になってきて、サラッと流してどんな感じのことが書いてあるか把握する程度で終えておいた。またいずれ再挑戦するつもりでいる。そのためには、この分野への関心を高めることで、楽しいと思えるような状態まで持っていく必要がある。いくつも本があるので、色々試してみる。その後でまた戻ってくるようにする。

## 5〜8章を読んだ
➤ 5章 リカレントニューラルネットワーク (RNN)
➤ 6章 ゲート付きRNN
➤ 7章 RNNによる文章生成
➤ 8章 Attention

流し読み。もう少し別のとこで経験を積んでからにする。

## 4章を読んだ ➤ word2vecの高速化
さっと流した。前章の続きとなる。3週間程度間が空いたため、あまり前の内容を覚えていない。むしろ、何も覚えていない。そのときはしっかり読んで理解したつもりでいた。3週間程度でこれほど記憶が風化してしまうのなら、この本を読み終えても、全体に渡ってやはり風化していくことになるのだろう。そうすると、ここの章を時間をかけてじっくり学ぶ必要があるのか、という疑問が湧いた。この章は前章を発展させた内容であるため、それを理解していないと理解が難しいところがある。一度さっと前の章を見直すべきだが、どうも意欲がわかない。こうもあっさり前の内容を忘れてしまうのなら、もう適当に進めてしまおうという気になった。これは悪い兆候だ。たとえ記憶が風化してしまうとしても、それを繰り返していけば、いつかは定着していくことが期待できるので、無駄な学習ではない。もし、ここで適当に流してしまうと、それも難しくなる。今のところ、ディープラーニングに面白さを見いだせていない。面白くないこと、興味がわかないことの学習は効率が著しく悪い。まずはいろんな情報に触れてそこをクリアしたい。つまり、楽しいと思えるようになるまでは軽く流しながらやっていく。楽しみ方が分かったあとでしっかりと学び直すことにする。

## 3章を読んだ ➤ word2vec
前章のものはカウントベースの手法と呼ばれるものらしい。そして、この章で扱うword2vecは推論ベースの手法と呼ばれるらしい。次章以降に本格的なものを示すとして、この章ではわかりやすくシンプルなものを扱われる。そのおかげもあるのだろう、前章のものに比べて特別に難しくなっているということはなかった。また、カウントベースの手法と推論ベースの手法は、現在ではどちらが優れているかは決められないということはないらしい。word2vecは与えられたコンテキスト(文として意味のある単語の並び)を入力としてモデルに与えて、そこから次に出現するであろう単語の出現確率を出力として得る。そのモデルの一つに、この章で取り上げられているCBOWと呼ばれるものがある。もうひとつ有力なものに、skip-gramというものがある。一概にどちらが優れているかとは言いづらいものの、skip-gramを使ったほうが良い結果が得られるらしい。

## 2章を読んだ ➤ 自然言語の単語と分散表現
自然言語処理というものがどのように行われるのか、まったく前知識がなかった。結局の所、数量的な表現に置き換えることで推論可能なデータを獲得する処理であることが分かってきた。おそらく、今後はこの処理を洗練させていくことで精度を上げていくことになるのだろう。自然言語であろうと、コンピューターで扱う以上は計算可能な問題でなければいけない。一見、普通の人にとっては困難そうな問題も、その手法が確立してしまえば、それを学ぶだけで実現可能となる。まだ先は長いがゴールは少し見えてきた。

## 1章を読んだ ➤ ニューラルネットワークの復習
前巻のダイジェストのようなもの。かなり時間が空いてしまったので、すっかり記憶から消え去ってしまったものかと思っていた。読んでいると不思議と思い出されてきた。十分にわかりやすい内容だが、この章だけでは十分な前知識を得ることは難しいだろう。1巻から通して読むことが想定されているものと思われる。

2023/12/26

自然言語処理に用いる「word2vec」のしくみを丁寧に説明している。

P325　Attention