「そういうエビデンスはあるんですか？」という言葉がはやるなど、近年は様々な場面で科学的根拠が求められています。しかし、科学的根拠は、時や場合によっては同じ効果を発揮しないこともあります。どうすれば正反対の結果に陥らずにすむのでしょうか？ 『原因と結果を武器にする思考』（安井翔太、伊藤寛武、金子雄祐著／日本経済新聞出版）から抜粋・再構成してお届けします。
七面鳥が教える「過去の成功」に引きずられた末路
感謝祭の七面鳥という有名な寓話（ぐうわ）があります。
ある七面鳥は毎日同じ時間に同じ人間から餌（えさ）を与えられ、丁寧に世話をされています。餌をもらうたびに、七面鳥は「明日もまた穏やかな1日が来るのだ」と確信を深めていきます。ところがある朝、まさにその世話をしていた人間によって、七面鳥は食肉用に処理されてしまいます。その日は感謝祭で、七面鳥を食べる日でした。七面鳥は最初から、食卓に出すために育てられていたのです（注1）。
この寓話は、「過去うまくいった」という事実は「これからもうまくいく」ことを何一つ保証しないという教訓として語られます。しかし本稿では、もう一歩踏み込んだ問いを立てたいと思います。それは、「この七面鳥は何を理解すべきだったのか？」という問いです。
「必然性がある」構造を見抜くための仕組み
答えは明快です。七面鳥に必要だったのは「自分はなぜ餌をもらっているのか」という構造への理解でした。「毎日餌がもらえる」という表面的な事実をいくら積み重ねても、「自分は食べられるために生かされている」という洞察には到達できません。まあ、仮にそれを理解したところで、七面鳥はどのみち食べられていたでしょうが。しかし、私たちは七面鳥ではありません。
本稿のテーマは、まさにその洞察にあります。A／Bテストは施策の勝ち負けを判定するだけの道具ではありません。「Aが勝った」という表面的な事実の裏には、「Aが勝つ必然性があった」という構造が隠れています。
想定していなかった結果から、意外なユーザー心理や、見落としていた市場の前提が浮かび上がることもあります。勝敗の裏側にある「なぜ」を問うことで、私たちは自分たちのビジネスへの理解を根本から更新できます。つまり、A／Bテストとは複雑な世界から学ぶための技術でもあるのです。
時や立場によって効果は変わっていく
A／Bテストから「構造」を学ぶとは、具体的にどういうことでしょうか？
まず、過去の成功がいかにもろいものかを見ていきましょう。米国のグルーポンというサービスでは、メール通知のA／Bテストが繰り返し「成功」を示していたそうです（注2）。メールを送った群は送らなかった群より売り上げが高い。当然の結果に思えます。チームは自信を深め、1通、2通、3通と送信回数を増やしていきました。
しかし、いつしかユーザーは過剰な通知に嫌気が差し、メールを無視するようになりました。「メールを送れば売り上げが上がる」という個々のテスト結果は確かに正しかった。そこで、メールを増やし続けた結果、最も重要な通知チャネルそのものが機能不全に陥ってしまったのです。
同じ施策であっても、その効果（エビデンス）は時期や文脈によって変わります。例えばポイントやクーポンなどの消費促進施策を検証すると、ポイントの有効期限内にセールやイベントが開催されるかどうかで効果は大きく変わります。「前やったA／Bテストで効果が証明された」という事実は、今の状況でも同じ効果が出ることを保証しません。
「知名度のあるブランド」と「小さなレストラン」
こうした変化は、同じ施策でも異なる会社に適用すると、さらに顕著に現れます。
eBayは実験を行い、検索広告は費用に見合わないという結論が出ました（編集注：米国の大手通販サイトのeBayは、検索広告により年間数十億円の損失を発生させていた）。この話を聞いた人の中には、「うちの会社でも検索広告を止めるべきだ」と使命感に駆られる人がいるかもしれません。
しかし、レストラン情報サイトのYelpが同様の実験を行ったところ、結論は正反対でした（※1）。Yelpに掲載されている小規模レストランにとって、検索広告は極めて効果的で、認知度、訪問数、問い合わせのいずれも大幅に向上したのです。
なぜこれほど結果が違ったのか。eBayはすでに圧倒的な知名度を持つブランドであり、ユーザーは広告がなくてもeBayを見つけることができました。一方、Yelpに載っている小規模レストランは知名度が限定的で、検索広告が「知ってもらう」ための決定的なきっかけになっていたのです。
この実験から得られた最大の学びは何でしょうか？ 「検索広告は効くのか、効かないのか」という二択の答えではないはずです。本当に得られた学びは、企業の認知度という自社の立ち位置が、検索広告の効果を左右するという構造的な洞察です。これはまさに、七面鳥が知るべきだった種類の知識です。A／Bテストの結果を考察することで、私たちはそうした洞察に手が届くのです。
注1 筆者自身はこの話をナシーム・タレブの『ブラック・スワン 不確実性とリスクの本質（上）（下）』（望月衛訳／ダイヤモンド社／2009年）に学びましたが、哲学者のバートランド・ラッセルによって導入された話だそうです。
注2 この話はある種の逸話であり、筆者はとある学会のディスカッション（CODE@MIT2025:Practitioners Panel, https://www.youtube.com/watch?v=_NQLX2pPy-Q）の中で聞いたもので根拠となる資料などは見つけられませんでした。A／Bテストの詳細についても詳しくは不明ですが、「メールを送ったグループと送らなかったグループでどちらが売り上げが高かったか」みたいな実験をしていたのだとすると、それは当たり前のようにメールを送ったグループのほうが売り上げが高くなるでしょう。しかし、本当にA／Bテストで測るべきだったのはユーザーの反応そのものだったはずです。
※1 Dai, D., & Luca, M. （2016）. Effectiveness of Paid Search Advertising: Experimental Evidence. Harvard Business School NOM Unit Working Paper No. 17-025.
安井翔太、伊藤寛武、金子雄祐著／日本経済新聞出版／1980円（税込み）