「ハック」は効率や生産性を上げるためのコツやノウハウと思われがちだが、その本質は違う。様々な分野の「ハッキング（ハックする行為）」を解説してその本質を解き明かしたうえで、AI時代にルールを味方につける考え方を説いた書籍『 ハッキング思考 』から、抜粋・編集して掲載する。その第4回。
（第3回「システムとは何か、なぜハッキングされるのか」から読む）
ハッキングは人類の歴史とともにある。私たち人間は、システムが生まれたときからずっとシステムをハッキングしてきたし、コンピューターが登場したときからずっとコンピューターシステムがハッキングされるのを見てきた。その複雑さとプログラマブルなインターフェースによって、コンピューターはほかにはないハッキングの可能性を秘めている。
そして今や、自動車、家電製品、スマートフォンなど多くの消費者製品がコンピューターによって制御されている。私たちの社会システム、すなわち金融、税制、各種の法規制、選挙などもすべて、コンピューター、ネットワーク、人、制度が関与する複雑な社会技術システムである。そのため、こうした製品やシステムのすべてがハッキングの影響を受けやすくなっている。
しかし、コンピューター化がハッキングを変える。特にAI（人工知能）の技術と組み合わせると、速度（スピード）、規模（スケール）、範囲（スコープ）、複雑度（ソフィスティケーション）という4つの次元でハッキングは加速する。
速度がありえないハッキングを可能にする
速度については分かりやすいだろう。コンピューターは人間よりはるかに高速だ。眠る必要がなく、退屈したり気が散ったりすることもない。適切にプログラムされていれば、人間よりずっとミスが少ない。したがって、コンピューターは人間よりはるかに効率よく機械的な作業をこなすことになる。
スマートフォンが正しい数学計算を処理するときに要するエネルギーは人間の場合と比べて何分の一かであり、時間は比較にもならない。機械的な作業に必要な労力を大幅に削減することで、コンピューターはある種のハッキングを、現実的にありえないものから、ありえないくらい現実的なものに変えるのである。
今でもすでに、こうした新しい能力の証拠はいくらでもある。AIを活用するドゥーノットペイ（Donotpay.com）という無料サービスは、駐車違反切符に対する抗議を自動化し、ロンドンやニューヨークなどの都市で発行された数十万件の違反切符を無効にするという実績をあげている。他の領域にも拡大していて、航空便の遅延に対する補償を受けたり、さまざまなサービスやサブスクリプションを停止したりするときに利用されている。
AIのスピードは、迅速な実験も可能にする。コンピューターなら、製品を構成する要素について無数のバリエーションを短時間で試して取捨選択し、最適な結果を見つけることができる。異なるユーザーに異なるバージョンの製品をランダムに見せるA/Bテストは、ウェブ製作者がウェブページデザインの有効性をテストするときに多用されている。たとえば、「ここをクリック」ボタンが大きい「バージョンA」と小さい「バージョンB」をランダムにユーザーに見せて、どちらのバージョンのほうがたくさんクリックされたかというデータをウェブサイトが自動的に収集する。
A/Bテストを自動化すれば、開発者は複雑な変動要因（ボタンのサイズ、色、配置、フォントなど）を組み合わせて同時にテストすることができる。ビッグデータを活用して特定のユーザーの好みや習慣に合わせてさらにパーソナライズを加えることができ、これまでになく多様なハックが可能になる。また、何千というハックのバリエーションをシミュレートできるので、企業でも犯罪者でも、実行できるハッキングの幅が広がるのである。
前例のないスケールのハッキングが実行される
次に考えなければならない次元が、AIの規模だ。株式取引のように長い歴史をもつ人間の活動が、コンピューターを通じた自動化によって拡大されると、意図も予期もしなかった性質を備えた別のものに変化する。AIシステムはそれを創造した人間と同じように活動するかもしれないが、それが前例のないスケールで実行されるのだ。
たとえば、人間を装ったペルソナボットがソーシャルメディア全体に大量に展開される可能性は十二分にある。ボットは24時間態勢で問題を処理し、長短を織り交ぜて無制限にメッセージを送ることができる。過激なことが許されるなら、実際のオンライン討論を圧倒する可能性さえある。私たちが正常だと思っていること、他人がそう考えると思っていることに人為的な影響を与えるだろうし、その影響はソーシャルメディア上だけでなく、あらゆる公共の場や私的な空間にまで及ぶ。
このような操作は、思想の世界や民主的な政治プロセスにとって健全なものではない。民主主義が適切に機能するには、情報、選択肢、主体性が必要だということをもう一度思い出そう。人工的なペルソナは、市民から情報と主体性を奪い取るのだ。
AIでハッキングの範囲が広がり、複雑度も高まる
三つ目は範囲で、AIの使われる範囲が広がるのは避けようがない。コンピューターシステムの機能が上がれば上がるほど、社会は多くの、そして重要な決定をコンピューターシステムに委ねるようになる。そうなれば、こうしたシステムに対するハックは今後さらに広範囲に被害をもたらし、システム導入者の意図にかかわらず、基盤となる社会技術システムを破壊する可能性も高くなるということだ。
AIはこうした傾向をさらに悪化させる。AIシステムは今でも、日常的な雑事から人生を変える重大事まで私たちの生活を左右する決定を下している。AIシステムが、曲がり角ごとに道順を教えてくれる。仮釈放されるかどうか、銀行ローンを組めるかどうかを決める。就職希望者、大学受験者、政府サービスへの応募者を審査する。投資に関する決定を下し、刑事事件の判決を支援する。ソーシャルメディアでどんなニュース記事が流れ、どの候補者の広告を見せられ、どのような人物やトピックが高頻度ですすめられるかもAIが決める。AIが軍事目標を決定する。
いずれは、裕福な政治献金者が支持する政治家をAIが推薦するかもしれない。AIが投票資格の持ち主を決めるかもしれない。社会的に望ましい成果を税制に反映したり、権利プログラムの詳細を調整したりするかもしれない。このようなシステムは次第に重要性を増しており、それに対するハッキングがもたらす被害は大きくなっていくだろう（早い時期に起きたその例が、株式市場の「フラッシュクラッシュ」だった）。そしてたいてい、システムがどのように設計・構築・利用されているのか、真相をつかむことはできない。
最後は複雑度で、AIが複雑になるということは、AIがいよいよ人間に取って代わることを意味する。コンピューターは人間より複雑で予期しない戦略を実行できる場合が多いからである。しかもその可能性は、コンピューターの高速化・高機能化とネットワークの複雑化に伴って高まる一方だ。
おすすめの映画、理想の投資、囲碁での次の一手など、多くのアルゴリズムはとっくに人間の理解を超えている。アルゴリズムが他のアルゴリズムを設計しはじめれば、この傾向はさらに強まり、指数関数的に増大する一方なのだ。
AIの台頭によって、コンピューターのハッキングは社会システムをハッキングする最も強力な手段のひとつになる。何もかもがコンピューターになれば、ソフトウェアがすべてを支配する。
ハッカーが金融ネットワークに入り込んで資金の流れを変えるところを想像してみよう。あるいは、法律データベースの内部で、法律や裁判の判決にわずかな、それでいて実質的な変更が加えられたらどうなるか（はたして人は気づくのだろうか。もとの文言と比較できるのだろうか）。フェイスブックのアルゴリズムをハッカーに内部から書き換えられたらどうなるか。誰の投稿がフィードのトップに表示されるか、誰の意見が増幅されるか、そして誰がそれを聞くかを決めるルールが変えられてしまうとしたら――。コンピュータープログラムが私たちの仕事、消費、会話、組織、生活に使われる日常的なシステムを操るようになれば、テクノロジーが新しく政策を決めることになる。
そして、たとえテクノロジーの力が私たちに自由をもたらすとしても、ハッカーの手にかかれば、その同じ力が社会統制に使われる未曾有のアーキテクチャへと変貌するのである。
今あげたシステムは、例外なくハッキングに脆弱だ。それどころか、現在の研究によれば、あらゆる機械学習システムは目に見えないところで侵害されるおそれがある。そして、それに対するハッキングが社会に及ぼす影響は今後ますます大きくなっていく。
（訳：高橋聡）
ブルース・シュナイアー（著）、高橋聡（訳）、日経BP、2420円（税込み）