イーロン・マスクを超える男 サム・アルトマン の商品レビュー

小林雅一(著者)

2024/12/03

10年ほど前に”ディープラーニング”という言葉がはやり、書店でも何でもかんでもディープラーニングでどうしろ、こうしろって本があふれかえった時期があった。それがいかなるものかがよくわからず本を手にしたが興味が湧けずそのままやり過ごした。そして去年、chatGPTなるものが話題沸騰し、自分も”Midjourney"にしばらくハマったものだが、その仕組みが全然わからなかった。まぁ、あまり興味がなかったと言えばそれまでだが、今年に入り、やたらとイーロン・マスク氏の名前が上がり、これまたよく知らない有名人だったが、それを超える人物として書かれたサム・アルトマン。そしてchatGPTに関連するというもんだから、ここらで一度じっくり向き合ってみようと手にした久しぶりの専門書（？）だったけど、夢中で読んだ！
Photoshopにも現れるニューラル・エンジンとは何ぞや？ってのも一気に理解した。
昔々の専門学生時代に流行ったBASICプログラムで”人口無能”なるものがあった。”それは何？”ってプログラムが効いてくるのをひたすらキーボードで入力していく対話型AIで、「ダイヤモンド」-＞「高い」-＞「煙突」-＞「黒い」->「土人」->「強い」->「金太郎」->「赤い」->「おこし」->「臭い」->「親父」->「怖い」->「幽霊...ry（これ当時は歌にもなった）。こうやってどんどん言葉を覚えさせていくとある日（相当数文字を入力してセーブし、次回起動時にロードして続きを打つ）、「幽霊」って文字を入力すると、”消える！”ってプログラムが回答してくるのだ。
よくよく考えたらこれがOpenAIの奔りだったと納得する笑
まあ、それは置いといて、アルトマンが起こした非営利団体がいつしか世界を変えてしまうほどのAIを生み出し、ほか企業や団体もそれに追随、あるいは追越に躍起になり今やどこで何をするのもAIありきの世界になってしまった。世にある文献、映像、音響、ありとあらゆるコンテンツを飲み込んだAIの発展先には人類の指標となるのか、はたまた墓穴となるのか。頭の中にはターミネーターの世界が回っているんだけど、用途次第でどっちにも転ぶ全知全能となったAIはまさに神。技術の歴史や全容、各社の取り組みが分かりやすくまとめられており、ほかの書は読んでいないけど、この一冊でchatGPTだけでなくAIの取り組みがどのようにおこなわれ、どのように発展していくのかを十分に理解できる良本。

2024/11/29

今まで報道で部分的にしか知らなかったことが、かなりよくわかる内容だった。

オープンAIの内紛

オープンAIとイーロンマスクの関係

サム・アルトマンの生い立ち、実はベンチャー投資で大金持ち

サム・アルトマンの仕事の進め方「従業員を互いに対立させる」

スツケバーという天才の存在

セルフアテンションメカニズムにより、トランスフォーマー技術が進歩し、AI開発が進んだ！

2024/10/27

この手の本で日本人の書いたものって、どうしても伝聞が中心になるせいか、読後感がスッキリしないものが多い印象だったのだけど、本書はテンポも歯切れも良かった。

よくあるAI脅威論について、ラリー・ペイジはAIが人類に取って代わるとしても、それは生物から人工物へと進化が次の段階に移行するに過ぎないと捉えているんだとか。なるほど。

また、今後世界中のテキストを読んでしまえばもう、学習することがなくなるのでは、という指摘に対して。AI同士でテキストを作り合い、それを学習材料にすることで発展を続けていく、とアルトマンらは考えているらしい。AI同士で競い合って学習を深めていくという手法は囲碁の学習などでは用いられた手法だが、言語にも使用できるのだろうか。人間の存在無しで発展できるとしたら、知性って何なんだろうとも思ってしまう。
関係者の間ではp(doom)として、人類滅亡の確率も語られている

・「これこそ、我々の待ち望んでいたものだ。これこそ、最後のピースだ」（トランスフォーマーの論文"Attention is all you need" を読んだスツケヴァー

2024/10/26

サムアルトマンが何者か知ることができた。その周りには天才たちがいっぱいいます。解任劇で賑わした件の裏側、生成AIの今後などライブ感を感じながら読むことができた

2024/10/16

p33 トロント大学　ヒントン教授
　エジンバラ大学で博士号　ニューラルネット研究のスポンサーになる大学は母国英国になし　UCSDを経由してカナダへ
　ヒントン研究室のフランス人ポスドク、ヤン・ルカン　畳み込みニューラルネット　CNN convolutional neural network
ウクライナ出身　アレックスクリジェフスキー
ロシア出身のイリアスツケヴァー

2012 二人が２個のGPUをつかって多層ニューラルネットを開発　AlexNet
AlexNetは世界的な画像認識コンテストILSVRCで２位以下を圧倒的大差で引き離す好成績で優勝

p75 2017 グーグルの研究チーム　attention is all you need ここでのトランスフォーマーと呼ばれる新しい方式のニューラルネットが、それまで停滞していた言語モデルの研究に突破口をもたらした

p77 言語理解の鍵を握る自己注意
self-attention mechanism (自己注意機構）

言語モデルが文脈を理解するための鍵となる単語に対して自動的に注意を向けることを可能にする技術

p115 2021 アモデイ、カプランをはじめとした約15名の研究者(openAI) アンスロピックというAIスタートアップを立ち上げる

p148 オッペンハイマー　新しい技術が生まれるのは、それが可能であるから。 Technology happens because it is possible.

p209 日本のAI スタートアップ　Sakana AI

p248 北米のAIスタートアップは軒並みグーグルやアマゾンを肇とするビックテックから巨額の投資を受けている。が、それらのお金は結局、ビックテックのクラウドサービスを利用したり、ビックテックが開発した半導体チップを購入したりするために、投資元であるビックテックに還流する仕掛けになっている

p251 Piと呼ばれる対話型AIを提供　ユーザの気持ちや心理状態に配慮した適切な回答を返せるなどいわゆるEQ emotional intelligence quotient=心の知能指数の高さを特徴としている

p273 P(doom) ピードゥーム　pは確率doomは破滅
AGIやスーパーインテリジェンスにような超越的AIの暴走によって人類がいずれ破滅する確率である

p277 2024/5/14 スツケヴァー　openAIを辞職

p280 アンロソピックが開発提供するclaude
下位モデルHaiku,Sonnet 上位モデルOpus

アンソロピックの研究者の愛読書は、第二次大戦中に米国政府の戦争省が原子爆弾を開発したマンハッタン計画について記された原子爆弾の誕生リチャードローズであるという
つまり彼らはAIを原爆のような核兵器に匹敵する脅威と見ているのだ

p285 今後の展開次第では万能の神ないしは悪魔のような存在にもなりかねないAIに、一体誰場どのようにして、どんな価値観や行動指針を与えるかは、そう容易に答えが出るような問題ではなかった

2024/11/05

「P(doom)」(ピー・ドゥーム)
AGI(汎用人工知能)やスーパーインテリジェンスのような超越的AIによって人類がいずれ破滅する確率。

対話型生成AIを生み出したOpenAI。いま最もホットでエキサイティングなテック企業を紐解く一冊！

ChatGPT。この大規模言語モデル(LLM)対話型生成AIの登場以降、画像生成、コード生成など、AIの進化は目覚ましい。

OpenAIの理念は「単なる一企業ではなく、人類全体に寄与する安全で高度なAGI(汎用人工知能)の実現」である。しかしそれは変質したのか。「理念」か資本主義か。

共同創業者でありCEOのサム・アルトマン。彼は有能な経営者かつ未来を見る投資家だ。しかしその本質はマキャベリアンではないか。

アルトマンは、自身のスタートアップを売却した後、ポール・グレアムの投資会社の後釜経営者として収まる。その傍ら、志を同じくする数人の研究者たちとAI開発で事業を起こした。
これがOpenAIだ。命名は出資者であるイーロン・マスク。その先見の明おそるべし。

AI開発に着手するも、当初は方向性が見えず迷走していた同社。飛躍のきっかけは「Googleの論文」からもたらされた。「Attention is All You Need」とは。

ディープラーニング(機械学習)によって脅威のスピードで成長したAI。ChatGTPリリースで大成功を収めたOpenAIに内紛が起こる。アルトマンCEO解任と電撃復帰の真相とは？

これが2章までの大まかな内容です。創業からのスピードがハンパない。

そして、最終の第5章「未来——アルトマンの果てしない野望とAGIへの道」。これが面白い。彼が何をやろうとしているのか、どんな未来が待つのか、スリリングだ。

指数関数的進化によりAIはすでに人間的感情を表現できるようになっている。この「擬人化」によって、人が自殺教唆されて実行したり、エリザベス女王の暗殺を企てたりしている。

そして、今後AIがAGI、スーパーインテリジェンスになったとき、冒頭に書いたP(doom)の確率は何%だろうか。
アルトマンの答えは…..。

————-
以下は「大規模言語モデル」について思ったこと。

「自己注意」を払わせながら大量のテキスト(言語)を読ませる機械学習が、AIを指数関数的に進化させたという事実。

そのディープラーニングは、もともと人間の脳(ニューラル・ネット)を模したものなのだから、我々人間がより賢くなるためには、同様に大量の言語情報(本)を取り入れるのが近道なのだと思う。

人は言語でしか思考できない。言語化できないものは正しく細分化して認識できない。最速かつ最適なパターン化をして、思考を深めるためには「言語の獲得」が必要なのだ。

以上、与太話でした。

2024/08/22

解任劇の舞台裏：AIの安全性優先　対立を煽って人心を操作　小噺のような事業計画
ＯｐｅｎＡＩ前史：ジェフリー・ヒントン　GPU　イリア・スツケヴァ―
ＯｐｅｎＡＩの誕生：Ｙコンビネータ　30歳を前にAGIの実現に　グレッグ・ブロックマン　自己注意
進化：非営利団体　研究団体→エンジニアリング企業　LLM開発←悪魔に魂を売り渡す
飛躍：ＧＰＴ‐４　サティア・ナデラ　公的存在への脱皮　内部で軋轢　解任騒動
踊り場：数々の訴訟　フェアユース　アルトマンの完勝　学習用データ確保　合成データ・機械学習
未来：ＡＩ半導体開発　IT業界の勢力図　追い上げるアマゾン・メタ　Sora　AIの可能性と危険性　ヨハンソンの抗議　P（doom)　AIの行動原理・価値観