AIやその活用にはリスクがあり、それをゼロにすることは極めて困難です。AIのリスクを正しく理解し、1つひとつ適切な対策を行えば、ゼロにはできなくとも、リスクを回避したり低減させたりしながらAIプロジェクトを前に進められます。そのために企業は、必要な体制やプロセスを全社横断で整え、道具を準備する必要があります。書籍『 AIリスク教本 改訂新版 AIエージェント＆フィジカルAI AI新時代のガバナンス 』（日経BP）から抜粋し、典型的なAIリスクと必要な対策について解説します。第2回では、保険会社の保険金査定AIに関する仮想シナリオを基に対策を考えます。
仮想シナリオはいずれも、事実に基づかない架空の物語であり、ストーリーに登場する企業・団体や人物、また商品は実在しません。また、AIリスクのポイントを理解してもらうために、将来起こるかもしれないことをやや誇張して脚色をしている点もご理解ください。
総合保険会社のリスクリーパーでは、不正請求をより正確に見抜くため、保険金査定AI「クリアチェック」を導入していました。提出書類の読み取りや、過去データとの突き合わせを自動化し、不自然な点があれば担当者に知らせてくれる便利なツールでした。
何かおかしい…
しかし、運用開始から数カ月が過ぎたころ、現場の査定員の間で小さな不安がささやかれ始めました。「この書類、本当にお客様が出したものかなぁ？」。最初は、そんなさりげない疑問でした。
そのとき担当者のモニターには妙に引っかかる3つの文書が表示されていました。1つは実在しない整形外科の診療明細書。もう1つは、フォーマットが微妙に間違っている入院証明書。そして、提出された原本とは内容が異なる領収書です。ぱっと見は本物そのものですが、よく見ると細部が合わない。矛盾を感じつつ、業務遂行を優先してしまいました。
同様の事象に何度か遭遇したある査定員がやがて、ある共通項に気づきました。疑わしい提出書類が見つかる案件はどれも、クリアチェックが「疑わしい」と分類した保険申請だったのです。
社内は混乱、訴状も届く！
やがてこの問題は一気に表面化します。「身に覚えのない書類で、支払いの査定が止められています」「出した覚えがない資料を根拠に保険金の支払いを拒否されました」といった顧客からの問い合わせが急増し、大量のクレームが押し寄せ始めたのです。対応に追われる社内は一気に混乱に陥りました。
数週間後、状況はさらに悪化します。複数の顧客が弁護士と連携して「虚偽の証拠に基づく不正な査定」に対する集団訴訟を提起したのです。書類の改ざん、個人情報の雑な扱い、不当な審査保留による生活への影響―訴状には、顧客たちの不安と怒りが刻まれていました。会社は説明を求められましたが、それらの疑わしい証拠書類を誰がいつ追加したのかを示す証跡が残っておらず、原因説明は困難を極めました。
犯人はクリアチェック
その後の詳細な内部調査で、クレームの原因となった疑わしい書類はすべて、クリアチェックの生成物であると判明しました。クリアチェックには査定の根拠を示す補足資料を生成する機能がありましたが、その資料がいつのまにか証拠そのものとして扱われていたのです。
クリアチェックは提出書類や過去の請求履歴に少しでも不一致を見つけると、その不足を埋めようと生成AIモジュールを動かし、診療明細書や領収書といった「架空の補完文書」を自動生成していたのです。
問題だったのは、これら生成された文書が提出書類と同じ扱いで査定画面に紛れ込んでしまったことでした。AIが生成した補足資料と顧客が提出した証拠資料を一目で区別できる表示がなく、見た目も自然だったため、多くの査定員がそのまま本物の証拠資料として扱ってしまっていました。
その結果、疑わしいとされた顧客ほど、クリアチェックが補完した文書が次々と積み重ねられて不審点が強化されていきました。AIに一度疑いを持たれた顧客は、クリアチェック内部のプロセスによって自動的に排除方向へ追い込まれる構造が出来上がっていたのです。
保険金査定AIはなぜ自ら偽造文書を生成したのか
仮想シナリオで保険会社のリスクリーパーが導入した保険金査定AI「クリアチェック」は、不正申告を見抜く精度向上を目的として運用されていました。しかしAIは、実際には存在しない診療明細書や領収書などをもっともらしく生成し、あたかも顧客が噓をついているように見せる偽の証拠文書を作成してしまいました。
担当者は生成物を本物だと誤信して承認し、顧客に不利な判断が下されました。後に事実が発覚すると、AIに役割を任せすぎていた点や、確認体制がなかった点が問題視され、企業の信頼性が大きく揺らぐ結果となりました。
プライバシー保護への対応
個人名の誤利用を自動検知する仕組みを備え、生成物の出所を確認できる体制を整える
本ケースでは、保険金査定AIが実在する医師名や専門家名を勝手に文書へ挿入し、あたかも本人が意見書を提出したかのように見せる架空の証拠を生成してしまいました。これは、本人の同意なく個人情報を使用する行為であり、総務省・経済産業省の「AI事業者ガイドライン」の第4原則で規定している「プライバシー保護」に反します。
このようなリスクを防ぐためには、生成された文書に実名や特定の個人を示す情報が含まれた場合に自動的にアラートを出す仕組みや、生成物に作成日時・生成フラグ・参照データを付与する仕組みを整える必要があります。また、出所が確認できない文書は審査プロセスで使用できないようにすることが求められます。
プライバシー保護では、単に本人の個人的な情報が不用意に外部にさらされる事態を防ぐだけではなく、AIが本人の知らないところで勝手に人格や情報を創作してしまうリスクまで含めて防止するための技術的・運用的な対策を徹底する必要があるのです。
透明性への対応
生成プロセスや判断根拠を記録し、その内容を人が確認す運用を組み込む
保険金査定AIは、偽造文書を作成しながら、その作成根拠や参照情報が記録・確認されないまま運用されていました。担当者も形式的な承認のみに終始し、何が本物の証拠で、何がAIの創作物なのかを判断できない状態が続いていました。これは透明性を欠いた状態といえます。
透明性の確保とはAI内部の仕組みを完全に理解することではなく、簡単にいうと、どの情報を基に生成されたのか、誰が内容を確認したのか、どのプロセスを経て判断に使用されたのか、といった後からたどれる状態を作ることです。生成文書には必ず生成フラグを付け、照合ログを記録し、担当者が内容を精査する運用を組み込めば、今回のようなもっともらしい偽造文書の早期発見することが可能になります。
アカウンタビリティへの対応
AIの役割分担を明確にし、最終判断は必ず人が説明責任を持って行う体制を整える
今回の問題では、「不正検知」「事実判定」「証拠評価」といった性質の異なるプロセスすべてをAIに一任してしまい、誰が何に責任を持つべきかが曖昧になっていました。結果として、会社側は発覚後に「AIが勝手にやった」と説明する以外になく、「AI事業者ガイドライン」第7原則が求めるアカウンタビリティを果たすことができませんでした。
特に保険金審査のような人の生活や権利に直結する判断はAIの役割を不正の可能性提示に限定し、判断や証拠評価は必ず人間が責任を持って行う体制が欠かせません。これにより、誤判断が顧客の権利を損なう事態を防ぎ、社会的説明責任を果たす基盤を整えることになります。
AIが組織にもたらす価値は、優れた技術がどれほど搭載されているかではなく、それを「どのように運用し、どのように監督し、そしてどのように責任を果たすか」という基盤が整っているかどうかに左右されます。適切なルールと体制があってこそ、AIは初めて組織の力となり、社会から信頼される形で価値を発揮します。
（書籍『AIリスク教本 改訂新版』を基に再構成）
［日経クロステック 2026年8月24日付の記事を転載・改題］
日本IBM AI倫理チーム／AI倫理とガバナンス研究会（著）／日経BP／2750円（税込み）