AIは人類の良い面も悪い面も拡張する。戦争から事故、突発的なテロ集団の発生、意図的な破壊活動などあらゆる害がもたらされる恐れがあるが、それらの種類や被害の範囲すら予想できていない。さまざまな予測不能な展開を許せば、被害は世界的規模に拡大する。『THE COMING WAVE AIを封じ込めよ DeepMind創業者の警告』（ムスタファ・スレイマン、マイケル・バスカー著／上杉隼人訳）から抜粋・再構成してお届けする。
AGIが誕生すると何が起きるか
ハリウッド映画のよくある筋書きを超えて、AIがどんな災害を引き起こす可能性があるだろうか。研究者の非主流派は極端なストーリーを想定する。全能のコンピュータが不可解な目的のために世界を滅ぼすのだ。ハリウッド映画のように最初から有害なAIが世界を破壊するのではなく、人類の懸念に無関心な本格的AGI（汎用人工知能）が、不可解なゴールに向けてやみくもに最適化するからだ。
典型的な思考実験をしてみよう。十分に強力なAIにペーパークリップを作るように指示したとする。ゴールを慎重に設定しなかった結果、地球のみならず、宇宙のあらゆる物体がペーパークリップに変えられてしまう可能性がある。こうした論理の連鎖をたどると、ひどい事態が次々に浮かび上がる。
AIの安全性の研究者は、AGIのようなものが創造されれば、人類は自分たちの運命をコントロールできなくなるのではないかと懸念する（この懸念は正しい）。人類は既知の宇宙における支配的な種から初めて転落するのだ。
AIの設計者がいかに賢く、安全機構がいかに強固であっても、不測の事態を把握することも、安全性を保証することもできない。人類の利益と完全一致するようにアライメント（AIシステムを人間の倫理、価値観、目標に合わせて調整すること）されていても、十分に強力なAIであれば、自らプログラミングを上書きし、安全機構とアライメントを無効化する可能性がある。
このように考えるからか、「AGIは今日の人類が直面する最大リスクだ！ AGIが世界を終わらせる！」というような意見をよく耳にする。だが、それは実際どんなものか、どのようにして起こるのか質問されれば、彼らは言葉を濁すし、具体的な危険性を明示することはできない。
ただ、AIはあらゆる演算資源を独占し、世界全体を巨大なコンピュータに変えてしまうかもしれない、と言うだけだ。AIがますます強力になっていく現在、最悪のシナリオを真剣に想定して、被害軽減を考えなければならない。だが、そこに至るずっと前に、さまざまな問題が起こり得る。
AIがもたらす被害範囲が分からない
今後10年間で、AIが史上最強の「力の増幅器」となり、歴史に残る規模で力の再分配を起こす可能性がある。人類進歩の最大の促進要素になるかもしれないが、同時に損害を引き起こす可能性もある。戦争から事故、突発的なテロ集団の発生、権威主義的政府、企業支配の強化、窃盗の多発、意図的な破壊活動など、あらゆる害がもたらされる恐れもある。
現代版チューリングテストを容易に合格するAGIが大惨事を引き起こすと想像してほしい。最先端AIと合成生物学は新しいエネルギー源や特効薬を見つける研究者だけでなく、次なるセオドア・カジンスキー（通称ユナボマー。1978年から95年にかけてアメリカで連続爆弾事件を起こした犯人）にも利用可能になるのだ。
AIは人類の良い面も悪い面も拡張する。だから有益であると同時に危険だ。しかも、学習することを前提としたテクノロジーであり、適応と探査を続け、ほかのAIですら考えつかなかったような新奇な戦略やアイデアを生み出す可能性がある。
私が何より心配するのは、思考実験に登場するペーパークリップ製造AIでもなければ、悪魔的な有害なAIでもなく、現代のAIにすでに備わった力が、今後10年間にどれだけ増幅されるかだ。
AIがエネルギー網、メディアのコンテンツや番組制作、発電所、航空機、主要金融機関の取引口座をコントロールする世界を想像してほしい。
至るところにロボットがいて、軍隊は自律型致死兵器を大量配備し、兵器庫には文字通りボタンひとつで大量殺戮（さつりく）が自律的に実行される技術を搭載した武器がぎっしり保管されている。それを軍隊とは別のAIがハッキングしようとしたらどうなるだろうか。
または攻撃ではなく、単純なエラーのようなもっと基本的な障害を考えてほしい。基礎インフラでAIがミスを犯したらどうなるだろうか。あるいは広く普及した医療システムで誤作動が起こったらどうなるだろうか。
多数の有能で半自律型AIに善意の目標を指示するが、その目標の設定が不適切だったら、大惨事になる恐れがあることは容易に想像がつく（＊1）。農業、化学、外科手術、財務など、さまざまな分野にAIがどんな影響をもたらすか、まだ分からない。
それが問題なのだ。障害の種類と被害の範囲がまだ分からない。
全員が善意で技術を使うとは限らない
新しいテクノロジーをどう構築すれば安全に使えるのか、教えてくれるマニュアルは存在しない。能力も危険度も増していくシステムをあらかじめ構築して実験することもできない。AIの自己改善スピードも分からない。
生命工学の未開拓領域で行われていた実験で事故が発生したらどうなるか、人間の脳とコンピュータを直接接続して意識を一体化したら何が起きるか、AI兵器によるサイバー攻撃が重要インフラにどのような被害をもたらすか、人為的遺伝子ドライブが自然界でどう広がるかも分からない。急速に進化する自己複製機械や新しい生物学的因子が放たれれば、もう元に戻せない。
ある段階以降は好奇心から新テクノロジーをいじることすら危険になるかもしれない。大惨事にならないと思っていても、私たちが今やみくもに作業を進めていることを考えると、一度立ち止まらなければならない。
また、テクノロジーを安全に構築し、封じ込めるだけでは十分ではない。AIアライメントは一度すればよいというものではなく、強力なAIを構築するたびにアライメントが必要となる。
研究所からの病原体の漏出は、漏出させた研究所だけの問題ではない。政治的緊張下にある国も含め、世界各国のあらゆる研究所が問題をいつまでも共有・解決し続けなければならない。テクノロジーの力が臨界点を超えた場合、最初の開発者が安全に構築するだけでは不十分だ（もちろんそれも難題だが）。
本当に安全に使うには、どの利用場面においても安全基準を維持する必要がある。新しいテクノロジーがすでに大変なスピードで拡散していることを考えれば、これが何より強く期待される。
ここで説明したのは、誰もがあらゆる人々に影響を及ぼすようなツールを自由に発明・利用できる状況になった時に起きることだ。想定しているのは活版印刷機や蒸気機関のような発明品ではなく、新種の化合物や新種の生命体、新種の生物といった、まったく新しい特性を持つ発明である。
来たるべき波を封じ込めないのであれば、あとは時間の問題だ。
事故、エラー、悪用、人間が制御できない進化といった、さまざまな予測不能な展開を許容することになる。どこかの段階で、何らかの形で、何かが、世界のどこかで失敗する。ボパール化学工場事故やチョルノービリ原発事故といった規模ではなく、被害は世界規模になる。ほぼ善意で進められたテクノロジー開発の結果がこれである。
だが、全員が善意を共有するとは限らないのだ。
ムスタファ・スレイマン、マイケル・バスカー著／上杉隼人訳／日本経済新聞出版／2420円（税込み）