イーロン・マスクを超える男 サム・アルトマン なぜ、わずか7年で奇跡の対話型AIを開発できたのか

小林雅一(著者)

• 販売会社／発売会社: 朝日新聞出版
• 発売年月日: 2024/07/19
• JAN: 9784022519931

商品レビュー

2024/10/27

この手の本で日本人の書いたものって、どうしても伝聞が中心になるせいか、読後感がスッキリしないものが多い印象だったのだけど、本書はテンポも歯切れも良かった。

よくあるAI脅威論について、ラリー・ペイジはAIが人類に取って代わるとしても、それは生物から人工物へと進化が次の段階に移行するに過ぎないと捉えているんだとか。なるほど。

また、今後世界中のテキストを読んでしまえばもう、学習することがなくなるのでは、という指摘に対して。AI同士でテキストを作り合い、それを学習材料にすることで発展を続けていく、とアルトマンらは考えているらしい。AI同士で競い合って学習を深めていくという手法は囲碁の学習などでは用いられた手法だが、言語にも使用できるのだろうか。人間の存在無しで発展できるとしたら、知性って何なんだろうとも思ってしまう。
関係者の間ではp(doom)として、人類滅亡の確率も語られている

・「これこそ、我々の待ち望んでいたものだ。これこそ、最後のピースだ」（トランスフォーマーの論文"Attention is all you need" を読んだスツケヴァー

2024/10/26

サムアルトマンが何者か知ることができた。その周りには天才たちがいっぱいいます。解任劇で賑わした件の裏側、生成AIの今後などライブ感を感じながら読むことができた

2024/10/16

p33 トロント大学　ヒントン教授
　エジンバラ大学で博士号　ニューラルネット研究のスポンサーになる大学は母国英国になし　UCSDを経由してカナダへ
　ヒントン研究室のフランス人ポスドク、ヤン・ルカン　畳み込みニューラルネット　CNN convolutional neural network
ウクライナ出身　アレックスクリジェフスキー
ロシア出身のイリアスツケヴァー

2012 二人が２個のGPUをつかって多層ニューラルネットを開発　AlexNet
AlexNetは世界的な画像認識コンテストILSVRCで２位以下を圧倒的大差で引き離す好成績で優勝

p75 2017 グーグルの研究チーム　attention is all you need ここでのトランスフォーマーと呼ばれる新しい方式のニューラルネットが、それまで停滞していた言語モデルの研究に突破口をもたらした

p77 言語理解の鍵を握る自己注意
self-attention mechanism (自己注意機構）

言語モデルが文脈を理解するための鍵となる単語に対して自動的に注意を向けることを可能にする技術

p115 2021 アモデイ、カプランをはじめとした約15名の研究者(openAI) アンスロピックというAIスタートアップを立ち上げる

p148 オッペンハイマー　新しい技術が生まれるのは、それが可能であるから。 Technology happens because it is possible.

p209 日本のAI スタートアップ　Sakana AI

p248 北米のAIスタートアップは軒並みグーグルやアマゾンを肇とするビックテックから巨額の投資を受けている。が、それらのお金は結局、ビックテックのクラウドサービスを利用したり、ビックテックが開発した半導体チップを購入したりするために、投資元であるビックテックに還流する仕掛けになっている

p251 Piと呼ばれる対話型AIを提供　ユーザの気持ちや心理状態に配慮した適切な回答を返せるなどいわゆるEQ emotional intelligence quotient=心の知能指数の高さを特徴としている

p273 P(doom) ピードゥーム　pは確率doomは破滅
AGIやスーパーインテリジェンスにような超越的AIの暴走によって人類がいずれ破滅する確率である

p277 2024/5/14 スツケヴァー　openAIを辞職

p280 アンロソピックが開発提供するclaude
下位モデルHaiku,Sonnet 上位モデルOpus

アンソロピックの研究者の愛読書は、第二次大戦中に米国政府の戦争省が原子爆弾を開発したマンハッタン計画について記された原子爆弾の誕生リチャードローズであるという
つまり彼らはAIを原爆のような核兵器に匹敵する脅威と見ているのだ

p285 今後の展開次第では万能の神ないしは悪魔のような存在にもなりかねないAIに、一体誰場どのようにして、どんな価値観や行動指針を与えるかは、そう容易に答えが出るような問題ではなかった