その本の「はじめに」には、著者の「伝えたいこと」がギュッと詰め込まれています。この連載では毎日、おすすめ本の「はじめに」と「目次」をご紹介します。今日はムスタファ・スレイマン、マイケル・バスカー（著）、上杉隼人（訳）の『 THE COMING WAVE AIを封じ込めよ DeepMind創業者の警告 』。第1章「封じ込めは不可能」から一部を抜粋してお届けします。
【第1章「封じ込めは不可能」から一部を抜粋】
悲観論嫌悪という罠
ディープマインドを立ち上げた数年後、AIが経済、社会に長期的にもたらすと思われることをまとめたパワーポイント資料を作成した。それを持って、アメリカ西海岸のきれいな会議室で、テック業界の顔と言える創業者、CEO、技術者、約十数名を前にプレゼンした。そこで私は、AIが引き起こすさまざまな脅威に対し、事前準備が不可欠だと訴えた。AIが大規模なプライバシー侵害や偽情報拡散を引き起こす可能性や、AIが兵器化され、致死的な新型サイバー兵器を作り出し、ネットワーク化された世界に新たな脆弱性をもたらす可能性を指摘した。
自動化と機械化が人間の仕事を奪ってきた歴史を取り上げ、AIによって多数の人々が仕事を失う可能性も強調した。自動化と機械化は、ある単純なタスクを効率的に代替し、それに従事していた人たちの雇用を消滅させる。すぐにどの部門も必要な人員が桁違いに少なくなる。これから先の数十年間にAIシステムは人間の「知的単純労働」を同じように奪い、その進展は肉体労働者がロボットに置き換えられるよりも早い。かつては古い職業がなくなると、新しい職業が生まれてきていた。だが、AIが新しい職業もうまくこなしたらどうなるのか？ これまでほとんど前例のない、新しい形の集中的権力が生まれようとしている。まだ遠い未来のことと思うかもしれないが、私たちの社会は巨大な脅威にさらされつつあるのだ。
プレゼンの最後に、テレビアニメ『ザ・シンプソンズ』の一場面を映した。おなじみのスプリングフィールドの住民が立ち上がり、棍棒（こんぼう）と松明（たいまつ）を手にして歩いている。一目瞭然だが、私はあえて説明した。「民衆は激昂するでしょう。民衆の怒りはテクノロジーを創出した私たちに向けられます。この予想よりもよい未来にできるかどうかは、私たちの手にかかっています」
参加者は、一様にぽかんとした顔をしていた。誰の気持ちも動かすことができなかった。私のプレゼンは失敗だった。反論が次々に突きつけられた。あなたが指摘した兆候は経済指標に現れていない。AIが新しい需要を喚起し、雇用を創出するかもしれない。人間の能力を高めることによって、さらに生産性が上がるかもしれない。リスクがあるかもしれないが、そこまでひどくないだろう──これが参加者の結論だった。大丈夫、人間は賢いから、解決策が見つかる。心配ないから次のプレゼンに移ろうとでも思っているようだった。
数年後、新型コロナウイルス・パンデミックの直前、ある有名大学で開催されたテクノロジーがもたらすリスクを論じるセミナーに参加した。あの西海岸の会議室でテック業界の要人たちに話した時と同じだ。大きなテーブルと高尚な議論。テーブルに置かれたコーヒーとビスケットの向こうで、テクノロジー開発がもたらすと思われるぞっとするようなリスクの数々が、次々にパワポで映し出される。
ひとつの発表が際立っていた。発表者によると、DNA合成機の値段は数万ドルほどに急落しており＊1、ガレージの作業台に置けるくらいに小型化した。今や大学院レベルの生物学の知識がある人はもちろん、興味のある人がネットで勉強すればDNAの組み換えや合成が可能だ。
DNA合成機がますます広まるとどうなるか、発表者は恐ろしい未来を予想した。近い将来、何者かが自然界に存在する病原体よりはるかに感染性も致死性も高い新たな人工病原体を合成するだろう。この人工病原体は既知の対処法を無効にしたり、無症状のまま伝染したり、特効薬やワクチンへの抵抗力を備えていたりするかもしれない。自宅の実験室では作れないものはオンラインで注文して、自宅で組み込むこともできる。この世の終わりが郵送されてくるのだ。
これはSFなどではなく、20年の研究歴を持つ一流の教授が明かした、今ここにあるリスクなのだ。発表者はプレゼンを警鐘で締めくくった。「その気になれば、たった1人の人間が10億人を殺せる」
参加者たちは不安げに足を何度も組み替えたり、咳き込んだりした。発表者が述べた可能性を、誰もが信じたくなかった。反論や言い訳が始まった。そんなことが起こるはずはない、きっと効果的な制御メカニズムがあるはずだ。そんな人工病原体は合成が難しいはずだ。データベースの利用を禁止できるはずだ。そうだ、DNA合成機を悪用できないようにすればいい……。
参加者たちの大方の反応は冷ややかだったし、発表者の将来見通しをまるで受け入れようとしなかった。厳然たる事実や、客観的に導き出された可能性に目を向けたくなかったのだ。私は何も言えず、ただ動揺していた。やがてセミナーは終わり、その夜、参加者たちと夕食を共にし、いつものようにおしゃべりを楽しんだ。その日、私たちは世界の終わりを論じ合ったはずだが、ピザを食べたし、冗談も口にしたし、戻るべきオフィスもそのままだし、それにそのうち状況が好転するかもしれないし、あるいは発表のどこかが間違っていたのかもしれない。私も「否定派」に加わった。
だが、その後数カ月にわたって、あの発表は私の頭を悩ませた。なぜ私も、参加者全員も、あの発表をもっと深刻に受け止めなかったのか。どうして不自然に議論を避けるのか。問題提起した人々に「大げさな悲観論だ」とか「新テクノロジーの『驚くべき価値』を見落としている」などと咎（とが）める人がいるのはなぜか。こうした感情的な反応を至るところで目にしたが、それを私は「悲観論嫌悪の罠（pessimism-aversion trap）」と呼ぶことにした。悲観的な将来予想に向き合う恐怖感から、明るい可能性のみに目を向けてしまい、見当違いの分析をしてしまう罠にはまるのだ。
ほとんど誰もが同じような反応をする。結果として、目の前で進行している重要な流れを見落とすことになる。これは自然な生理的反応なのかもしれない。人間はテクノロジーに裏切られる可能性を受け入れられないのはもちろんのこと、こうした大変革に真剣に対処できないようにできているのだ。私はこの人間の本能を実感してきたし、ほかの多くの人たちも同じ反応を示すのを見てきた。この本能に立ち向かうのも本書の目的のひとつだ。たとえ不愉快であったとしても、事実を厳密かつ客観的に見なければならない。
「悲観論嫌悪の罠」を回避するには、来たるべき波に適切に対処し、テクノロジーを封じ込め、人類のために使われるようにしなければならない。そのためには、来たるべき現実に正面から向き合わなければならない。
私は本書を通じて、真っ正面から向き合う。来たるべき波の姿を明らかにし、封じ込めが可能か考え、テック業界の日常から離れて歴史的な視点から広い視野で物事を見てみたい。私の目標は、ジレンマに向き合い、科学とテクノロジーがどのような基本プロセスによって生み出され、研究が盛んになるのかを解明することだ。この考え方をできる限り明確に、できる限り広く伝えたい。寛容と探求の精神で執筆を心がけた。事実を観察し、予測したが、別の解釈や反論も歓迎だ。私がここで何より望むのは、封じ込めは容易であり、私が間違っていることが証明されることだ。
AI企業2社を立ち上げた私のような者の本だから、もっとテクノユートピア的なものを期待する読者もいるかもしれない。技術者、起業家として、私は元来、楽観主義者だ。10代の頃、パッカードベルのPB－486に初めてネットスケープをインストールした。ネットの世界につないでくれるPCファンの回転音と56Kbpsモデムの接続音に魅了され、以来、ネットに夢中になった。ネット上で参加したフォーラムやチャットルームで自由に論議し、多くを学んだ。私はテクノロジーを愛している。テクノロジーは進歩の推進力そのものであり、テクノロジーによって人類の成果に興奮し、誇りを覚える。
だが同時に、テクノロジーの創出者は、新しいテクノロジーが人類をどこへ導くかを予測する勇気と、それに責任を取る勇気を持つべきだと私は考えている。あるテクノロジーが人間を裏切るというリスクを感じたらまずどうすべきか、私たちは示さなければならない。個人だけではなく、社会と政治が対応すべきだが、まずは私たちテクノロジー創出者が動き出さなければならない。
（中略）
第Ⅰ部では、数千年にわたるテクノロジーの長い歴史をひもとき、それらの波がどのように広がったのかを概観する。波の推進力は何か？ 波が社会に浸透するには何が必要か？ 新しいテクノロジーを意図的に拒絶した社会はあったか？ 歴史を振り返ると、テクノロジーは拒絶されるどころか拡散するという明白なパターンがある。だが、そこには意図した結果と意図されなかった結果の連鎖が無秩序に広がっている。
私はこれを「封じ込め問題」と呼ぶ。人類史上最も強力で価値あるテクノロジーがかつてないペースで安く、広く使えるようになっているが、どう制御すればいいだろう？
第Ⅱ部では、来たるべき波について詳細に論じる。波の中心にあるのは、とてつもなく有望で強力だが、非常に危険な2つの汎用技術（GPT）、AIと合成生物学だ。どちらも何年も前から注目されてきたが、社会に与える影響の大きさがまだ軽視されている。AIと合成生物学から、ロボット工学や量子コンピュータなどの関連テクノロジーがいくつも成長しているが、どれも激しく複雑に絡み合いながら発展するだろう。
ここでは、テクノロジーの創出過程とその用途を解説し、なぜ封じ込めが難しいのかを説明したい。私が説明するテクノロジーがそのほかの普通のテクノロジーと違うのは、いずれも以下の4つの要素を備えているからだ。どれも①本質的に汎用的でオムニユースで、②超進化しており、③非対称的な影響力があり、④ますます自律的になっている。
こうしたテクノロジーが創出される強力なインセンティブがある。地政学的競争で優位に立つ、経済的利益を上げるという意欲もあれば、テクノロジー開発をオープンに広く進めることを望む文化も作用しているだろう。規制や管理のためにどのような労力を割いたとしても、多数の国家や企業や団体は競い合うように開発を進める。望むと望まざるとにかかわらず、そのリスクを私たち全員が負うことになる。
来たるべき波が封じ込められなかった場合、大規模な力の再分配が起きる。第Ⅲ部でそれを見ていく。現在の政治秩序の基盤であり、テクノロジーを封じ込めるうえで最も重要な役割を果たすのは国民国家だ。すでにさまざまな危機や災害によって揺らいでいる国民国家はさらに弱体化することになる。新しい形態の暴力が生まれ、偽情報が拡散し、仕事は消滅し、壊滅的な事故が予想されるなど、来たるべき波がさらに大きな衝撃をもたらすからだ。
さらに進むと、権力の構造転換が起き、中央集権化と分散化が同時進行する。ここから新たな独裁的な巨大企業が次々に誕生することになるが、一方で伝統的な社会構造から外れたグループや運動にも力を与えることになる。ここでは国民国家の慎重な駆け引きが何より求められるが、大きな圧力を受けてしまうのだ。こうしてディストピアか破局かというジレンマに陥る。
第IV部では、私たちにできることについて考えよう。どうすればテクノロジーを封じ込め、ジレンマから逃れられるだろうか？ 第IV部では、プログラムやDNAといったレベルから国際条約の管理まで、入れ子状になった10の厳格な制約を封じ込めの基本計画として提案する。
本書は失敗に向き合う本でもある。普通、失敗したテクノロジーとは、始動しないエンジンや崩壊した橋など、思い通りに「作動しない」ことを指す。だが、もっと広い意味での失敗もあり得る。テクノロジーが人類の生活に損害を与え、害悪を孕んだ社会を生み出し、無数の厄介者（あるいは意図せずに危険人物となった者）に力を与えて、社会が統治不能な状態に陥れれば、そのテクノロジーは社会全体を損壊させた、深刻な意味での期待外れの失敗作ということになる。こうした失敗はテクノロジーに内在するものではない。テクノロジーが機能するコンテクスト、ガバナンス構造、権力構造、用途による失敗である。
優れた創意工夫によって、前者のテクノロジーの「作動しない」失敗はうまく避けられるようになった。飛行機事故は減り、自動車は安全で環境にやさしくなり、コンピュータは強力で安全性が増した。最大の課題は、後者のような広い意味での失敗を、私たちがまだ考慮に入れていないことだ。
数世紀にわたり、テクノロジーの進歩は数十億人の幸福度を劇的に向上させた。現代医療のおかげで計り知れないほど健康になった。世界のほとんどの地域に食料が行き渡った。人々の教育水準と物質的な豊かさや快適さは史上最高レベルだし、かつてない平和を享受している。いずれも、科学とテクノロジーという人類の偉大な推進力が生み出した圧倒的な成果だ。だからこそ、私は安全なテクノロジーの開発に人生を捧げたい。
このすばらしい発展史から来たるべき波への楽観主義が生まれるのだとしたら、それはありのままの現実に基づいたものでなければならない。失敗を防ぐには、何がうまくいかない可能性があるか、確実に理解しなければならない。どこに辿り着こうが恐れず、最終的な結論に達するまで論理を展開し、そこに達したら何か対策を起こさなければならない。来たるべき波は、史上最速かつ最大規模の失敗をもたらす可能性がある。全世界の注視が必要だ。どうすればよいか？ 答えはまだ誰も出していない。
【目次】
