超進化する人類最高の攻撃力を、誰もが入手できるとしたら？ 発展・拡散の一途にあるテクノロジーを、悪意ある者が入手する動機は強い。中国で構築された監視と支配のアーキテクチャが実装される前に、私たちは技術開発を自主的にいったん停止すべきではないか？ 『THE COMING WAVE AIを封じ込めよ DeepMind創業者の警告』（ムスタファ・スレイマン、マイケル・バスカー著／上杉隼人訳）から抜粋・再構成してお届けする。
破壊手段のコモディティ化
かつては大量殺人を可能にする武器の入手は困難であり、大惨事が食い止められてきた。例えば学校で銃を乱射するような病的な虚無主義者が入手できる武器は限られていた。
セオドア・カジンスキー（通称ユナボマー。1978年から95年にかけてアメリカで連続爆弾事件を起こした犯人）は手製の装置しか持っていなかった。オウム真理教にとって、生物・化学兵器の製造・噴霧はひどく困難だったはずだ。被害妄想的な秘密主義の狂信的集団で、規模も小さく、専門知識も不十分で、材料の入手経路も限られていた。オウム真理教は何度も製造に失敗している。
だが来たるべき波は破壊手段を民主化し、コモディティ化する。性能も適応性も向上した殺戮（さつりく）兵器を、人間の制御も理解も超えた方法で稼働できる。進化とアップグレードを高速で繰り返す人類最高の攻撃力を、誰もが手に入れられるようになる。
新しいテクノロジーを使ってテロを起こすオウム真理教のような者は稀（まれ）にしか出現しない。だが、たとえオウム真理教のような組織が50年に一度の割合で出現するとしても、地下鉄サリン事件を上回る大量殺戮を防ぐには多すぎる。
カルトも過激派も、破滅しかかって自暴自棄に陥った国家も、すべて動機を備えているし、大量殺戮を可能にする手段も手に入る。オウム真理教の影響に関する報告書に簡潔に表現されているように、「私たちはロシアンルーレットをしている」のだ。
歴史の新たな局面が到来した。ゾンビ国家が新しいテクノロジーを封じ込められなければ、次のオウム真理教、新たな産業事故、狂気に駆られた独裁者による戦争、研究所からの病原体の漏出といったことが起き、どれも想像を絶する衝撃をもたらす。
権力支配の強化がもたらす代償
こうした暗いリスクシナリオをSFの読みすぎとか、破滅主義に陥った者の非現実的な白昼夢として片付けてしまいたくなるが、それは望ましくない。BSL-4施設（安全性の基準が最も高い施設）の利用手順や、規制の提案、AI（人工知能）アライメント（AIシステムを人間の倫理、価値観、目標に合わせて調整すること）問題に関する論文公開といった進展があっても、悪意ある者のインセンティブは消えないし、テクノロジーは発展・拡散の一途にある。
これはSFやネットフリックスのドラマの話ではないのだ。現実の話で、今この瞬間にも世界中のオフィスや研究所で進行中だ。
これほど深刻なリスクがあるからこそ、あらゆる選択肢を検討する必要がある。封じ込めには、テクノロジーを制御する能力が求められる。つまり、新しいテクノロジーの背後にいる人々や社会を管理する力という意味でもある。
壊滅的な影響が広がるか、大惨事の可能性が無視できなくなれば、議論の内容が変わってくるだろう。
管理や制御だけでなく、取り締まりを求める声が高まるだろう。かつてないほどの高い警戒レベルが人々に受け入れられる可能性もある。出現する脅威を探知・阻止できる可能性があるなら、それがベストで正しいことではないか、というわけだ。
世界中の政府や国民がこのような反応を示すと私は予想している。国民国家の中央集権的な力が脅かされ、封じ込めがますます困難になり、国民の命が危険にさらされれば、権力支配の強化は必然的な反応である。
問題は、その代償の大きさだ。
未来は監視社会になるか
大惨事を阻止することは当然の急務である。惨事の規模が大きいほど、リスクにさらされるものも多くなり、対策の必要性が高まる。
惨事が発生する兆候があまりにも深刻になれば、テクノロジーのあらゆる側面を厳しく管理するしか阻止する方法はない、と政府は結論を出すだろう。非常線を張って、悪意あるAIや人工ウイルスを製造・研究・流出させないようにする。
テクノロジーは文明に深く浸透しているので、テクノロジーの監視は、あらゆるものの監視を意味する。
あらゆる研究所、工場、企業、大学、サーバー、新しいソースコード、DNA合成のほか、森の中の小屋に潜伏するバイオハッカーから所有者を伏せた巨大データセンターまで、すべて漏れなく監視するのだ。
来たるべき波がもたらす未曽有のダイナミクスに向き合い、大惨事を防ぐには、前例のない対処が必要だ。すべてを監視するだけでなく、いつでもどこでも必要な時に停止させ、コントロールする能力が求められる。
極限まで権力を一極集中させ、パノプティコンのような監視体制を構築し、悪意あるAIもパンデミックも発生しないように人々の生活のあらゆる面を厳しく管理する――こんな提案をする人が必ず出るはずだ（＊1）。
多くの国家は「ハード・パワーを活用した包括的監視体制」を敷くことが実現可能な唯一の方法だと認識しつつある。ディストピアへの扉は開かれた。実際、大惨事に直面すれば、ディストピアのほうが安心すると思う人もいるだろう。
このような意見は、特に西洋諸国ではまだ少数派だ。だが、増えていくのは時間の問題だろう。来たるべき波はディストピア化の動機と手段を与え、着実にデータ量と支配力を高める自己強化型「AI独裁国家」をもたらす。
政府に監視・管理の意志があるのか疑う人は、新型コロナウイルスによるパンデミックの際に、数週間前までは想定外だったロックダウンが突如として不可避になったことを考えてほしい。
各国政府は国民に苦しい要請をして、国民はそれを遵守した――少なくとも初めのうちは。安全のためなら強力な手段への許容度も高まるようだ。
社会に大変動が起これば、将来の惨事を阻止するために、極端な監視体制の設置を求める声が高まるだろう。新しいテクノロジーに問題が発生した場合、どのくらい早く取り締まりが行われるだろうか。
大惨事を目の前にして、取り締まりに反論できる人はいるだろうか。監視型ディストピアが根を下ろし、蔓（つる）を伸ばして成長するまでに、どのくらい時間がかかるだろうか。
小さな技術的失敗が重なれば、管理を求める声が高まる。管理が強まれば、権力に対する「抑制と均衡」は衰退する。それはさらなる介入を呼び、テクノディストピアへの下降スパイラルに陥る。
技術開発を一時停止する時？
自由と安全のトレードオフは昔から存在するジレンマであり、ホッブズの『リヴァイアサン』の国家論にも見られる。多くの複雑な要因が絡み合う、決して消えないジレンマだ。だが、来たるべき波はこれをさらに難しくする。
人為的パンデミックを食い止めるには、どの程度の社会的統制が適切だろうか。同じ目的のために他国へ干渉するなら、どこまでが適切だろうか。自由、主権、プライバシーに対して、かつてない痛みを伴う影響がもたらされる可能性がある。
すべてを見える状態にして細部まで管理する抑圧的監視社会は、別の形の失敗だと思う。来たるべき波のさまざまな力が人類を繁栄させるのではなく、逆効果をもたらす別の道筋だ。強制的で偏見に満ちた著しく不公平な利用が大幅に強化されるだろう。ようやく勝ち取った権利と自由も後退する。
多くの国の自決権は、せいぜい妥協の産物に過ぎなくなる。この場合は、脆弱性ではなく、抑圧が明らかに増幅する。大惨事への対応がこのようなディストピアだとしたら、まるで対応になっていない。
中国などで構築された監視と支配のアーキテクチャによって、最初の一歩は間違いなく踏み出された。大変動の脅威と安全の約束は、さらに多くのことを可能にするだろう。これまでも、テクノロジーの波が押し寄せるたびに、社会秩序がシステム的に破壊される可能性を高めてきた。だが、これまではグローバル規模の大惨事を引き起こす広範囲のシステム的リスクはもたらさなかった。だがそれが変わり、ディストピア的な対応を促しかねないのだ。
ゾンビ国家がふらふらと大惨事の中を進めば、その開放性と高まるばかりの混乱状態は「封じ込め」という制約を受けないテクノロジーの培養器になる。一方で権威主義国家はすでに積極的にテクノディストピアへと進んでおり、道義的ではないが、大規模なプライバシー侵害と自由の縮小の準備を技術的に整えている。
このふたつが両極にあることで、世界最悪の状況が生み出される恐れがある（＊2）。強力な監視・統制装置がいくつも配備されているにもかかわらず、完全な封じ込め体制にはなっていないのだ。
大惨事に加えてディストピア。
技術哲学者のルイス・マンフォードは、社会の諸制度がテクノロジーと融合することで生まれる「すべてを包含する統一構造体」を「メガマシン」と呼んだ。メガマシンは「非人間的な共同体組織の利益のために制御」される。人類は自らの安全を確保するためにメガマシンを解き放ち、ほかのメガマシンが生まれるのを阻止するかもしれない。つまり、来たるべき波が自身を封じ込めるのに必要なツールを作り出す可能性もある。
だがそうしたツールが障害状態になったとしたら、自己決定、自由、プライバシーが消去され、機械による監視と制御のシステムが社会を抑圧する支配形態に姿を変えてしまう。
こうした抑圧は現状そのものだと言う人には、未来はこんなものではないと申し上げたい。これが唯一考えられるディストピア的な道筋というわけでもないのだ。ほかにも多くの道が存在するが、ここに紹介したのは来たるべき波がもたらす政治的課題と大惨事の可能性の双方に直接関連している。
これは漠然とした思考実験ではない。この道を前に、私たちは自問しなければならない。
人類の進歩という列車の動力は非常に大きく、取り除くこともできないように見えるので、人類はこの列車から降りるべきではないだろうか。継続的なテクノロジー開発を完全に拒否すべきではないだろうか。とても実現できるとは思えないが、技術そのものを一時停止する時が来たのではないだろうか？
ムスタファ・スレイマン、マイケル・バスカー著／上杉隼人訳／日本経済新聞出版／2420円（税込み）