新世代のテクノロジーの圧倒的多数は、よい目的に使われる。だが、非常に少数の悪意ある使用例が想定される。人為的なパンデミックやドローンによるテロ攻撃など、数億人単位の死傷者が出る可能性が否定できない。『THE COMING WAVE AIを封じ込めよ DeepMind創業者の警告』（ムスタファ・スレイマン、マイケル・バスカー著／上杉隼人訳）から抜粋・再構成してお届けする。
権威主義的でディストピア的な未来
新しいテクノロジーの圧倒的多数は、よい目的に利用される。新テクノロジーが日常的に数え切れないほどの人々の生活を向上させることを忘れてはならない。だがここでは、ほとんどの人たち――特にこうしたツールを使う仕事をしている人たち――が見たくもない極端な例を取り上げる。
使用例が少ないとしても、無視はできない。十分な技量のない研究所やハッカーが複雑なDNA鎖を合成できるようになればどうなるだろうか。災害発生までに、どれくらいの時間がかかるだろうか。
史上最強のテクノロジーが至るところに浸透するにつれ、極端な例が引き起こされる可能性も増す。解放された力と同じスケールとスピードで、いずれ何か問題が発生するだろう。来たるべき波の4つの特徴（非対称、超進化、オムニユース、自律性）を考えると、あらゆるレベルで強力な封じ込め策が講じられなければ、人為的なパンデミックのような大惨事の可能性がこれまで以上に高くなる。
とても許容できることではない。だが、ここにジレンマがある。というのは、新しいテクノロジーを最大限確実に封じ込めるような解決策も同じく許容できないからだ。それは人類を権威主義的でディストピア的な道へと導くことになる。
一方では、テクノロジーを活用し、完全な監視社会に向かう可能性がある。予測・制御できないテクノロジーに対して強硬なメカニズムで対応しようという、社会の本能的反応であり、自由が犠牲になる。あるいは、人類が最先端テクノロジーの開発から完全撤退するかもしれない。これは起こりそうにないが、たとえ起こったとしても何の解決にもならない。この実存する困難を切り抜けられる唯一の存在は、国民国家体制しかない。だが、この体制が封じ込めるべき力によって衰弱・崩壊しつつある。
私たちの時代の根本的なジレンマ
これらのテクノロジーが引き起こす影響によって、人類は大惨事とディストピアの両極に挟まれた道を歩まされる。これが私たちの時代の根本的なジレンマだ。
人々の生活を向上させ、コストや不利益をはるかに超えた利益をもたらす――テクノロジーはこんな約束をしてくれたはずだが、このひどい選択肢は約束がひどく裏切られたことを意味している。
破局ばかりを強調されると、私を含めて多くの人は興味を失う。警戒感や懐疑心を抱くかもしれない。壊滅的な影響について話すと、冷たい反応が返ってくることが多い。
大惨事を強調しすぎている、ネガティブに考えすぎる、人騒がせだ、現在の多くの危機にこそ注意が必要なのに、はるか先のわずかなリスクにこだわっている、といった非難だ。
極端なテクノ楽観主義と同じで、極端なテクノ悲観主義も、歴史的裏付けがない、見当違いの歪（ゆが）んだ極論として軽視されがちだ。
だが、警告が劇的であっても、無条件に却下してはならない。「悲観論嫌悪」によって災厄がふりかかる可能性を一切受け入れなければ、大きな災厄を呼び込むことになる。
少数の変わり者の大げさな物言いだとして警告を無視することが、自分には合理的で「賢い」と思えたとしても、その姿勢が自らの失敗につながる。
テクノロジーのリスクは、私たちを不確かな領域へと間違いなく導く。あらゆるトレンドがリスクの多発を示している。この推測は、絶え間ない科学的・技術的進歩の相互作用に基づくものだ。
大惨事の可能性を否定する人は、今話題にしているのがオートバイや洗濯機の普及ではないという事実を軽視している。
AIが引き起こす大惨事シナリオ
どのような壊滅的被害に備えなければならないか、悪意ある者による攻撃をもとに推測してみよう。以下は、どれも考えられるほんの数例だ。
テロリストが顔認識機能を備えた自動火器を数百から数千の強力な自律型ドローン群に搭載する。どのドローンも銃撃後に速やかに体勢を立て直し、短時間に連射し、移動することができる。そのドローン群がある人物の殺害を指示され、大都市の中心街に解き放たれる。通勤ラッシュの最中に、恐ろしいほど効率的に都市を最適ルートで移動する。
わずか数分で、例えば主要駅など都市のランドマークを襲撃した2008年のムンバイ同時多発テロより、はるかに大規模な攻撃を起こせるだろう。
大量殺人者が大規模政治集会の襲撃を決意し、特製の病原体を入れた噴霧装置つきドローンを使用する。集会参加者たちは次々に病気を発症し、家族にも伝染する。演説していた賛否両論ある注目の政治家が最初の犠牲者の1人になる。
激しい党派対立の中でこのような攻撃があれば、暴力的な報復が各地に広がり、国内は混乱状態に陥る。
アメリカ在住の危険な陰謀論者が、自然言語だけを使ってAIに生成させた偽情報動画を大量に流す。さまざまな偽情報動画を発信するが、ほとんどがあまり拡散しない。だが、「シカゴで警察官による殺人事件が発生」というひとつの動画が火を付ける。完全なフェイク動画だが、街頭では騒ぎが起き、警察への嫌悪感が広がる。
こうして陰謀論者は拡散させるノウハウを手に入れる。警察官による殺人がフェイク動画であると確認されるまでの間に、暴動が全米規模で発生し、多数の犠牲者が出る。新たな偽情報動画が燃料として次々に投下され、暴動は沈静化しない。
あるいは、これらが同時発生するかもしれない。ひとつの集会やひとつの都市だけでなく、何百もの場所で同時発生したらどうなるだろうか。ツールが入手できる状態で、悪意ある者に力を与えれば、大惨事がもたらされることに気づくだろう。
今日のAIは水道に毒を入れる方法や爆弾探知機をすり抜ける爆弾を作る方法を教えないように、できる限りの対策が取られている。AIが独自に目標を設定・遂行する能力はまだない。
だが、最先端でより強力なAIモデルが、安全対策が取られていないバージョンも含めて急速に広がっている。
開戦理由すら分からなくなる
来たるべき波がもたらす壊滅的なリスクに関するマスコミ報道はAIに偏っている。だが、他にもたくさんリスクはある。完全に自動化された軍隊は、紛争へ参加するハードルを今までよりはるかに下げる。
戦争が偶発的に発生するが開戦理由は永遠に不明、ということが起こる。AIが何らかの行動パターンや脅威パターンを検出し、瞬時に圧倒的な力で反応するからだ。
言うまでもなく、こうした戦争はこれまでとはまったく異質である。戦闘は急速に激化し、かつてないほどの壊滅的な結果がもたらされる。
特定の動植物の個体群を対象にした攻撃や、ひとつの生態系を破壊するといった、それほど目立たなくても極端な生物学的リスクとなる事件も十分に考えられる。例えばコカイン撲滅を考える活動家が、除草剤の空中散布の代わりに、コカノキだけを食べる新種の昆虫を生み出すことを想像してほしい。
あるいは過激な完全菜食主義者（ビーガン）が食肉のサプライチェーンを破壊することを決意する。予想の範囲内と範囲外の恐ろしい結果が起こり得るが、どちらも制御不能に陥るかもしれない。
脆弱性増幅器という観点で研究所からの病原体漏出を見てきたが、もしも漏出をすぐに抑えられなければ、過去のパンデミックを再現することになる。
例えば、新型コロナウイルスのオミクロン株は、最初に発見されてから100日以内にアメリカ人の4分の1に感染した。もし同じ感染力で致死率が20％のウイルスが蔓延（まんえん）したらどうなるだろうか。またはHIVのように何年も症状の出ないウイルスが、空気感染したらどうなるだろうか。
例えば基本再生産数4（水痘や麻疹［はしか］よりはるかに低い）で致死率50％（エボラ出血熱や鳥インフルエンザよりはるかに低い）の未知のウイルスが拡散すれば、ロックダウンなどの対策が取れたとしても、数カ月で10億人以上の死者が出る（＊1）。
そんな病原体がひとつではなく、いくつも放出されたらどうなるだろうか。脆弱性増幅器どころではなく、未曽有の大惨事になるだろう。
ムスタファ・スレイマン、マイケル・バスカー著／上杉隼人訳／日本経済新聞出版／2420円（税込み）