ChatGPTの頭の中 ハヤカワ新書009

スティーヴン・ウルフラム(著者), 高橋聡(訳者), 稲葉通将(監訳)

• 販売会社／発売会社: 早川書房
• 発売年月日: 2023/07/19
• JAN: 9784153400092

商品レビュー

2024/09/02

正直、言っていることを正確に理解できているのかが、そもそも分からなかった。
もともと馴染みのないフィールドなので、名称や説明内容を、頭の中でイメージ出来ないのが問題だ。

ただこのようなことだろう。

・ChatGPTの思考システムは、人の頭の中のニューロンのようなもの。
・基本的な概念は、ウェブや書籍などから、人が作った文章の膨大なサンプルを集めるところから始まる。次に、「それと似た」文章を生成するようにニューラルネットを訓練する。具体的には、「プロンプト(指令・命令)」から始めて、「訓練に使われたのと同じような」文章を続けられるようにする。
・ChatGPTの内部にはウェブページや書籍などの文章がそのまま蓄積されているわけではなく、精度10桁未満の無数の数字であり、その数字が文章全てから集約した構造をある種の分散型でエンコードしたもの。
・人間が構築したと明確にいえるのは、実質的に大枠の基礎構文だけで、それ以外はすべて訓練データから学習する。その中身はブラックボックスだ。
・ChatGPTの動作は基本的に次の3段階で進む。
①今までにできている文章に対応するトークン列を取得し、それを表す埋め込み(=数字の配列)を見つける。
②この埋め込みを対象として、「標準的なニューラルネットと同じように」、連続したネットワーク層の中を値が「波紋のように伝わって」いって、新しい埋め込み(新しい数字の配列)が生成される。
③この配列の最後の部分を取得し、そこから次に来そうなトークンの確率が得られる約5万個の値の配列を生成する。

もちろんChatGPTの生成品は、完全ではないし、また特に数学問題では間違っているリスクがあるらしい。
それはそれで、人間的にも感じる。

このニューラルネットと言う概念は1940年代に考案されたらしい。
そんな古くから始まっていたのかと言う驚きと、ここ数年での飛躍的な進歩から、次の10年ではどんな世界になっているのかと言う期待半分、恐さ半分の複雑な心境にさせてくれる書だった。

2024/08/25

長年NNを研究している筆者視点でChatGPTの何が優れ、何が課題なのかを明確に指摘する技術にも詳細に触れている導入書。ライトに読めるのでオススメ。

2024/07/20

chatGPTの動作原理を解説。意外と単純な仕組み。でもそれを実行しようとすると大変。シリコン計算機は、計算素子と記憶素子が別々なので、計算が大変、とあったので、そういったシリコン計算機を作れば、より人間らしく、正確な応答のできるAIになるのかも。