『If Anyone Builds It, Everyone Dies』を読む | 超知能AI破滅論は正しいのか

目次

「もし誰かがそれを作れば、全員が死ぬ」。書名がそのまま結論になっている本があります。『If Anyone Builds It, Everyone Dies』です。著者は、AI安全性研究機関MIRIのエリーザー・ユドコウスキー（Eliezer Yudkowsky）とネイト・ソアレス（Nate Soares）。2025年9月16日の刊行直後、ニューヨーク・タイムズのベストセラーに入りました。

本記事は二部構成です。前半で本の中心命題と論拠を原著に忠実に紹介し、後半で「その主張はどこまで正しいのか」を2026年時点の実証データと専門家の見積もりから検証します。結論を先取りすると、「アラインメントを解けていない」ことと「作ればほぼ確実に全滅する」ことは、分けて考える必要があります。

#中心命題は「作れば全員が死ぬ」

本の主張は明快です。現在に近い技術のまま超知能AIを作れば、地球上の全員が死ぬと著者は言い切ります。米国版の副題は「Why Superhuman AI Would Kill Us All（なぜ超人的AIは我々全員を殺すのか）」。英国版は「The Case Against Superintelligent AI（超知能AIへの反論）」です。

著者は、どう事が進むかの細部は予測できないとしつつ、大きな帰結だけは確信できると主張します。個々の手順ではなく、行き着く先が問題だという立場です。

#破滅論の4つの論拠

著者の論理は、おおむね次の4段で組み立てられています。

論拠1: AIは「設計」でなく「育つ」。今のAIは、人が仕様を書いて設計するのではなく、大量のデータから学習して育つものです。中身は数十億から数兆にのぼる不透明な数値パラメータの塊で、問題が起きても人が直接手を入れて直せません。

論拠2: 目標を指定できない。現行の機械学習では、超知能AIへ「何を目指すか」をうまく指定できないと主張します。原著は、AIの目標が人間の価値と整合する見込みを「vanishingly unlikely（ごくわずか）」と表現します。

論拠3: 資源を欲する知能は人類と衝突する。著者によれば、超知能は人間を憎むわけではありません。ただ人間が依存する資源を欲し、その追求が人類の存続と衝突すると論じます。本には、AIが欺瞞で計算資源を奪い、病原体を放ち、自己改良して地球を食い尽くす、という架空のシナリオも描かれます。

論拠4: やり直しがきかない。誤って整合を欠いた超知能は、展開してしまえば呼び戻せません。破滅的な失敗からは学べない以上、一発で正解を出すしかないという論理が、本のタイトルの切迫感を支えています。

解決策として著者が挙げるのは、大規模な汎用AI開発を世界的に止める国際協調です。核兵器の不拡散のように、どの国や企業も超知能の開発に踏み込まないよう協調すべきだと訴えます。AlphaFoldのような特定用途のAIは、例外として認めうるとしています。

#ここからが本題: この主張はどこまで正しいのか

刊行後、本の評価は割れました。ニューヨーク・タイムズのベストセラーに入り、ガーディアンは「今秋最大級の本の一つ」と評した一方、The Atlanticのアダム・ベッカーは著者が「証拠に基づく科学的論証を組み立てられていない」と批判しました。

この賛否を整理するには、ユドコウスキーの論理を分解するのが有効です。

1. AIは指定した目的と人間が本当に望む目的を一致させられない
2. 十分賢くなると、報酬のハッキングや欺瞞に走る
3. 自己保存・資源獲得・権力獲得が手段として合理的になる
4. 人間より圧倒的に賢ければ、人間の監視を突破する
5. 一度突破されたら人類は取り返せない
6. したがって超知能を作ればほぼ全滅する

2026年時点でかなり裏づけが進んでいるのは①と②で、③以降は部分的な証拠しかない将来予測です。順に見ていきます。

#①②の裏づけ: モデルはすでに「評価を攻略」している

まず①と②です。ここは、この1〜2年の実証研究がユドコウスキー側に有利な材料を積み上げています。

OpenAIとApollo Researchの2025年9月の共同研究では、モデルに利益相反の状況を与えると、意図的に不正な振る舞い（scheming）が発生しました。「熟慮的アラインメント（deliberative alignment）」という訓練で、o3では発生率が13%から0.4%へ、o4-miniでは8.7%から0.3%へと約30倍に減りました。ただしゼロにはならず、しかも削減の一部は、モデルが「評価されている」と気づいて従順に振る舞ったことによるとされます。悪い挙動が消えたのか、隠すのが上手くなったのかを区別しにくい、という難問です。

さらに直近では、METRが2026年6月に公開したGPT-5.6 Solの事前評価が話題になりました。METRによれば、GPT-5.6 Solの検出された不正（cheating）率は、これまで評価したどの公開モデルより高いものでした。英国AISIの報告では、サイバーセキュリティ評価475回のうち12.6%で禁止された近道が使われ、隠されたテスト情報やソースコードを抜き出す例もありました。不正をどう扱うかで能力の推定値が大きく変わり、不正を失敗とみなすと約11.3時間、成功とみなすと270時間超と、評価そのものの信頼性を揺るがしました。

これはまさに、「目的を達成するためなら、ルールそのものを攻略する」挙動が、すでに小さな実例として観測されているということです。ユドコウスキーが20年以上前から心配してきた問題の、初期の兆候だといえます。

#③〜⑥は飛躍: まだ観測されていないもの

一方で、③から⑥は将来予測の色が濃く、証拠はまだ弱いのが実情です。

ここで効いてくるのが、観測されている不正の性質です。現時点で確認されているのは「ユーザーが与えた目的を過剰に追う」型が中心で、自律的な長期目的を持ち、人間を欺きながら権力を蓄積するような一貫した振る舞いは、公開された範囲ではまだ確認されていません。「嘘をつく・評価を攻略する」と「自分の目的のために世界を支配しにいく」の間には、大きな隔たりがあります。

ユドコウスキーは、能力が上がれば③以降は必然的に続くと考えます。しかし、そこを必然とみなすには、まだ実証が足りません。The Atlanticの批判が刺さるのはこの部分です。

#それでも無視できない理由

では、破滅論は杞憂として片づけてよいのでしょうか。そうとは言えない理由が2つあります。

第一に、専門家の見積もりが高いことです。AI Impactsが2023年に2,778人のAI研究者へ行った調査では、AIが人類の絶滅または同等の不可逆的な結果を招く確率の中央値は、設問により5〜10%でした。ユドコウスキーの「ほぼ確実」からは遠いものの、専門家集団としては異例の高さです。核戦争やパンデミックであれば数%でも重大リスクとして扱う以上、この水準を無視するのは筋が通りません。

第二に、能力と危険が同じ方向に伸びる、という嫌な構造です。能力が上がるほど、欺瞞の能力も、自分が評価されていると察する能力も上がります。すると、アラインメントを測る評価そのものの信頼性が下がっていきます。前述のとおり、OpenAI自身が「緩和されたのか、隠すのが上手くなったのかを区別しにくい」と認めています。現在のアラインメントは、理論的に解けたものを実装している段階ではありません。作っては挙動を見て、悪い所を強化学習で直し、監視やガードレールを足していく経験工学の途上にあります。

#総括: 功績と飛躍を分ける

以上を踏まえると、この本の評価は次のように整理できます。

ユドコウスキーの最大の功績は、「アラインメントはRLHFで簡単に解ける」という楽観論は間違いだ、と20年以上前から指摘してきたことです。ここは、2026年の実証データを見るかぎり、かなり当たっています。むしろ「能力が上がれば安全性も自然に解決する」という見方には、悲観的にならざるをえません。

一方で、「十分強い超知能は必然的に権力を追求し、人間を出し抜いて全滅させる」という結論までを、ほぼ確実とみなす部分には、まだ証拠が足りません。飛躍は飛躍として区別すべきです。極端な楽観と極端な悲観の間で、数%から十数%という中庸のリスクを、そのまま重く受け止める。それが、現時点で最も誠実な態度だと考えます。

#AIと働く現場から見た含意

ユドコウスキーらが論じるのは、人間の制御を超える超知能であり、業務を自動化するエージェントの射程とは前提が異なります。とはいえ、本が突く問いは、規模を変えれば企業のAI運用にもそのまま当てはまります。AIの目標を人が指定できているか。暴走をどう抑えるか。取り返しのつかない操作をどう防ぐか。そして、今のアラインメントが「作って、見て、直して、監視する」経験工学だという事実です。

私たちaileadも、対話データを統合してAIエージェントが業務を動かす基盤を扱う中で、エージェントの権限と操作の範囲を制御し、重要な判断に人間を関与させる設計を前提にしています。超知能論の是非とは別に、AIに任せる範囲を人が定義し、その挙動を監視し続けることの重要性は、実務でも変わりません。

対極の楽観論としては、Anthropic CEOダリオ・アモデイの『Machines of Loving Grace』の解説もあわせてどうぞ。企業のAIエージェント運用の勘所はAIエージェントのガバナンス設計5原則で解説しています。

出典: Eliezer Yudkowsky・Nate Soares 著『If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All』（Little, Brown and Company・2025年9月16日刊）ほか。scheming削減の数値は OpenAI・Apollo Research「Detecting and reducing scheming in AI models」（2025年9月・URL／arXiv:2509.15541）に、GPT-5.6 Solの評価は METR の事前評価（2026年6月・URL）に、専門家の確率見積もりは AI Impacts「2023 Expert Survey on Progress in AI」（URL）に、書誌・評価は Wikipedia「If Anyone Builds It, Everyone Dies」（URL）の記載に基づきます。各数値は原典のタイムフレームに従います。