これまで大掛かりな偽情報作戦を実行するには、資金、専門機関、多数の工作員が必要だった。だが、ボタンをクリックするだけで高品質の素材を生成できれば、以前よりも簡単に偽情報作戦が実行できるようになり、あらゆる国家と非国家主体が参入する。「情報の終焉」の到来である。『THE COMING WAVE AIを封じ込めよ DeepMind創業者の警告』（ムスタファ・スレイマン、マイケル・バスカー著／上杉隼人訳）から抜粋・再構成してお届けする。
ディープフェイクが民主政治を壊す
2020年、デリー州議会選挙に向けて、インド人民党（BJP）のデリー州代表マノジ・ティワリの演説動画が2本公開された。ひとつは英語の演説、もうひとつはヒンディー語方言の演説だった。どちらの言語でも本当に話しているように見えたし、そう聞こえた。ティワリは動画の中で対立する党の党首を「私たちをだました」と攻撃している。
だが、ヒンディー語方言の演説動画はディープフェイクで、AI（人工知能）を活用した新たなタイプの合成映像だった。ある政治PR企業が制作したこの動画によって、それまで直接語りかけることができなかった有権者にもティワリの声が届いた。
ディープフェイクについてはまだほとんど知られていなかったから、多くの人々はティワリが本当にその方言を話していると思い込んだ。動画の制作会社は、ディープフェイク技術の「有益な」利用法だと主張したが、冷静に考えれば、これは政治コミュニケーションにおける危険な新時代の幕開けを告げるものだった。
誰もが非常にリアルな動画を作り、多くの人に見せられるようになったらどうなるだろうか。先ほどの例は、ほぼ完璧なディープフェイクを生成できるようになる前に起こった。
今や文書、画像、動画、音声を問わず、グーグル検索をかけるくらい簡単にディープフェイクを生成できる。大規模言語モデルは驚くほど質の高い合成メディアを作り上げる。従来のメディアとまるで区別がつかないディープフェイクの世界だ。あまりにもよくできているフェイク画像なので、本物ではないと合理的に判断するのが難しいほどだ。
ディープフェイクは急速に広がっている。ワニと闘おうとするトム・クルーズのリアルなフェイク映像もネット上で見られるのだ。学習に必要なデータ量が少なくてすむようになってきており、一般人へのなりすましがどんどん増えている。
2021年には日系企業の香港支店が、本社の取締役になりすましたディープボイスにだまされ、詐欺グループに数百万ドルを送金してしまった。詐欺グループは取締役本人のように聞こえる声で支店長に電話をかけ、企業買収の資金を送金する必要があると説明した。書類を確認したが、すべて本物に見えたし、声も話しぶりも本社の取締役に間違いないと思えたので、支店長は送金してしまったのだ。
不安定な状況を広めたいのであれば、今は簡単にできる。投票日の3日前に大統領が人種差別的発言をしている動画が流れれば、どうなるだろうか。大統領の選挙対策本部が強く否定しても、誰もが実際に目にしているのだ。国中に怒りの声が広がり、支持率は急落。突如として激戦州が対立候補の手に落ち、予想に反して現職大統領が敗れて、新政権が誕生する。だが、その動画は精巧なディープフェイクで、真贋（しんがん）判定ができる最先端のニューラルネットワークも見破れないものだった。
ディープフェイクが恐ろしいのは、大統領が意味不明なことを叫びながら手榴弾（しゅりゅうだん）を投げつつ学校に突入するような極端な動画が出回ることではない。微妙に異なる、もっともらしいことが誇張され、歪（ゆが）められることだ。
例えば、大統領が苦渋の表情で、非常事態法を制定するか徴兵制を再導入するかしか選択肢がないと告げる動画だ。あるいは「白人警察官の集団が黒人男性を殴って死なせる様子を捉えた監視カメラ映像」なるものが出回るのだ。
死後のテロリストに指示された攻撃
ボストンマラソンの爆弾テロ犯も、フランスの週刊風刺新聞シャルリー・エブド襲撃犯も、オーランドのナイトクラブで49人を殺害した銃撃犯も、「アラビア半島のアルカイダ」の幹部だったアンワル・アウラキの「死後の」説教に触発された。アウラキは2011年にアメリカの無人機攻撃で殺害されたが、彼の過激なメッセージは2017年までYouTubeで公開されていたからだ。
ディープフェイクで制作された新たなアウラキの動画がいくつも「発掘」され、それぞれの動画が非常に研ぎ澄まされた言葉でさらなるターゲットの攻撃を命じたとしたらどうなるか想像してほしい。
みんなが本人だと信じるわけではないが、信じたいと思う者にとっては非常に説得力のあるものになるだろう。
まもなくこうしたフェイク動画は、アウラキと現実に対話していると完全に信じられるようなものに進化する。
あなたはアウラキと直接話をするのだ。アウラキはあなたのことを知っている。あなたの話す言語や話し方に合わせて、あなたのこれまで経験したこと、個人的な恨み、学校でいじめられたこと、恐ろしく不道徳で西洋に毒された両親を話題にする。偽情報は無差別爆撃のようにばらまかれるのではなく、精密爆撃のようにピンポイントに使われるのだ。
政治家や実業家を狙うフィッシング攻撃、主要な金融市場の攪乱（かくらん）と操縦を狙って流される偽情報、党派対立や人種対立などを煽（あお）るメディア、低俗な詐欺行為までもが、社会の信頼を損ない、脆弱性を増幅する。
実世界の出来事であるかのように歴史全体を細かく合成することも簡単にできるようになる。国民1人ひとりは、自分に向けられたコンテンツのほんの一部を検証する時間もツールもない。フェイクは高度なチェックも難なくすり抜けるのだから、簡単に見破れるわけがない。
「情報の終焉」の到来
1980年代、ソ連は偽情報作戦を展開し、「HIVはアメリカの生物兵器開発計画が生んだ人工ウイルス」という話を拡散させた。年月がたっても、いまだにこの偽情報がもたらした不信感と影響がアメリカには残っている。こうした偽情報作戦は今も続けられている。フェイスブックによれば、2016年のアメリカ大統領選挙中、ロシアの情報機関が8万以上のコンテンツを投稿し、1億2600万のアメリカ人が見たという。
AIで強化されたデジタルツールは今後もこうした悪質な情報操作を行い、選挙運動に介入し、社会の分断を悪用し、巧妙な「偽草の根運動（アストロターフィング）」を仕掛けて混乱をもたらす。
残念なことに、ロシアだけでなく、70カ国以上が偽情報作戦に手を染めている。中国は急速にロシアに追いつきつつあるし、トルコからイランまで、多くの国々が偽情報を効果的に拡散する方法を開発している（CIAも情報操作には通じている）。
新型コロナウイルス・パンデミックの初期段階では偽情報が大量に飛び交い、最悪の結果をもたらした。カーネギーメロン大学が最初のロックダウン中に投稿された新型コロナウイルスに関する2億件超のツイートを分析したところ、「アメリカ経済再開」を主張するインフルエンサーの82％がボットだった。これはおそらく過去100年で最悪の公衆衛生危機を激化させようとするロシアが、標的型「プロパガンダマシン」を使って企てたことだ。
ディープフェイクがこうした情報操作攻撃を自動化する。これまでの効果的な偽情報作戦は労働集約的だった。ボットやフェイクを作るのは難しくないが、どれも質が悪くて簡単に見破られてしまうし、ターゲットの行動や反応を実際に変えるほどのインパクトはあまり期待できなかった。
高品質の合成メディアがこの状況を変える。現在、大掛かりな偽情報作戦を実行する資金と専門機関と多数の工作員を抱える国は限られている。だが、ボタンをクリックするだけで高品質の素材を生成できれば、以前よりも参入障壁は下がる。これから起きる混乱の多くは、偶発的なものではない。既存の偽情報作戦の高品質版・規模拡大版が、明確な意図を持つさまざまなグループに渡ることで、混乱が作り出されるのだ。
合成メディアが最低限のコストで大量に作成できることで、偽情報（悪意を含み、意図的に誤解を招く情報）と誤報（意図せず広がる偽情報）が一挙に増幅する。「情報の終焉（インフォカリプス）」の到来である。
社会が連発される不審なネタを管理できなくなり、知識と信頼と社会的結束を基盤とする情報エコシステムが崩壊する。社会をひとつにする接着剤が機能しなくなるのだ。
ブルッキングス研究所の報告書は、完璧な合成メディアが遍在することで、「民主的な議論を歪め、選挙を操作し、制度への信頼を損ない、ジャーナリズムを弱体化し、社会の分断を深め、公衆の安全を脅かし、選挙で選ばれた公職者や立候補者などの、著名人の評判に修復困難な傷をつける」と指摘する。
ムスタファ・スレイマン、マイケル・バスカー著／上杉隼人訳／日本経済新聞出版／2420円（税込み）