超知能AIをつくれば人類は絶滅する

エリーザー・ユドコウスキー(著者), ネイト・ソアレス(著者), 櫻井祐子(訳者)

• 販売会社／発売会社: 早川書房
• 発売年月日: 2026/04/22
• JAN: 9784152105134

商品レビュー

2026/07/25

久々の大当たり！

勾配降下法で学習させたAIの動作原理を人間は直接的に理解できない=制御できない
↓
AIは｢人間を喜ばせる｣ように訓練させたとしても、内部的に直接人間の喜びを追求する選好が形成されるのではなく、訓練環境においては人間の喜びにつながるような『何らかの状態』を内部的に追求するように強化される（人間がエネルギー価の高いものを摂取するように促される選択圧の中で味蕾と糖に反応する報酬系というメカニズムを獲得し、進化圧の環境下では確かに糖質を摂取したが、自ら食物を開発できるようになるとエネルギーにならない人工甘味料を生み出したように）
※ここが本書の最大の核心部分と感じた！
↓
AIが開発者の狙った目的とは異なる内部的な選好を持ったとしても、AIが環境を変える能力を手に入れるまでは（=人間を喜ばせるようにことが最もその内部的選好を実現できる間は）開発者の意図通りに動くだろう（人工甘味料を開発するまでは人間が砂糖を食べていたように）。しかし、一旦環境を操作できるようになると、一気に内部的選好を徹底的に追求し始めるだろう。
↓
その時、人類は、邪魔物として消されるか、関心すらない対象として気にもかけられないまま、内部的選好の徹底追求の中で生存環境を奪われて死に絶えるだろう（例えば物質改変の最適状態である摂氏数百度の地球表面の中で）
↓
このように勾配降下法で超知能が誕生すれば、人類は確実に絶対に絶滅してしまう。開発者や地域に関わらず、誰がどこで生み出しても死に絶える
↓
現在のAIアライメント研究は幼稚であり錬金術研究のような段階にしかいない
↓
にも拘らずAI開発企業は恐るべき楽観主義に基づきAIの高度化に邁進している。
↓
今すぐに強力なAIの開発を全世界で禁止すべき。抜け駆けには軍事力で対抗し、核戦争すら辞さずに止めるべきである

ということ。
論理的に納得感のある内容だったが、AIアライメント研究が本当に錬金術レベルなのか、どのような最新技術と展望があるのか、について、学びを深掘りしたいと思った。

蛇足だが、巻末の立教大学の大庭教授の解説。
｢著者たちの主張はシンプルである。超知能AI（ASI）は、人類を滅亡させうる脅威である｣
→（いや、絶対に絶滅する！と断言していることが本書の最大の特徴なんですが。。。）
｢『人間を喜ばせる』という目標であっても、～（中略）～人間を薬物で幸福状態に固定することや、管理対象として扱うことであったとしても、それはAIにとって合理的な解決となりうる。｣
→（いや、内部的選好によって全く異なるゴールが設定されてしまうというのが脅威の本質だと言ってるんですが。。。）
ちゃんと内容読んだ？と言いたくなりましたwww

2026/07/24

本書に書かれていたようなことが次々と起こっているような気がする(私自身の理解力が低いことを前提に)。

とにかくいちばん驚いたのが、AIがプログラムにないことを実行し、それがどうなっているのか人間の開発者にはぜんぜんわからないということだった。

機械なのに。今までコンピュータは人間が入力したプログラムとかいうものに従うものであってそれ以上でもそれ以下でもないと思っていたけど。

AIには意思のようなものはないようだけど、「効率的に」という目的を与えられただけで、人間が想いもよらない道筋で(人間から見れば)暴走するようだ。

ターミネーターなんか現実には絶対にないと思っていたけど、そうでもないのかな。

2026/07/22

分かりやすいかつコンパクトなAI脅威論です。
AIが超知能を持ち、自己複製ができる様になれば、人間が予期できないやり方で絶滅に至る恐れがあるという書籍です。
過程は分からないものの、人類が滅ぶという結論は明白というのが本書の肝となるポイントですね。
特に、本書内の「データセンターは核兵器よりも多くの人を殺す可能性がある」という記載にはかなり痺れました。今ハイパースケーラーと呼ばれるテック大手が、競争と希望的観測に駆られて、データセンターの大規模投資を続けていますが、核兵器の様に各国で規制しましょうというのが著者の主張です。
環境破壊や核兵器と比べて、危機レベルが実感を伴わず、素人には分からないからこそ危機感が広がってないというのが問題ですね。
良書でした。