マルチLLMトラッキングが必要な理由

あるマーケターが ChatGPT に「自分の業界で使えそうなツール」を尋ねたところ、回答の最初の段落に自社ブランドが登場しました。彼はレポートに「AI の回答に引用された」と書きました。ところが同じ日に同じ質問を Perplexity に投げた同僚は、出典リストのどこにもそのブランドを見つけられませんでした。どちらも見間違えたわけではありません。ふたつのエンジンが答えを作る仕組みそのものが違うために、結果が食い違っただけです。

引用測定をひとつの画面でしか行わないと、こうしたズレが見えません。そのため、よく出る画面ひとつを全体の状況だと錯覚したり、出てこない画面ひとつだけを見てすべて失敗したと決めつけたりしがちです。この記事では、なぜエンジンごとに答えが食い違うのか、ひとつの画面だけを見るとどんな落とし穴にはまるのか、そして複数のエンジンをどの順番で読み、どこから直すのかを扱います。GEO とは何か、引用をどう高めるのかは概要記事で扱ったので、ここではその下の段階である「測定対象をいくつとして見るか」に焦点を当てます。

同じ質問でも違う答えが出る三つの理由

エンジンごとに答えが違うのは、エラーというより設計の違いから生じます。観察してみると、大きく三つの筋に分かれます。

1. 学習データと更新時点が異なる

モデルはそれぞれ異なるデータを、異なる時点まで学習します。そのため、あるモデルは去年公開した記事までしか知らず、あるモデルはより最近の情報まで知っています。同じブランドでも「そのモデルが学習したとき、自社の情報が十分に広まっていたか」によって認知の有無が分かれます。たとえばリリースから3か月のSaaSが、あるエンジンではまったく出てこないのに、別のエンジンでは候補として登場することもありますが、たいていはこの時点の差から生じます。

2. 検索を使うか、使わないかが異なる

ここでは表面の性質をはっきり分けなければなりません。ある回答はモデルが学習した記憶だけで出てきますが、ある回答はモデルがリアルタイムでウェブを検索し、その結果を根拠にします。Perplexity や Google AI による要約のように検索を組み合わせた表面は、「いまウェブにうまく整理されていて、引用しやすいページ」を引っ張ってきます。一方、検索をオンにしていない純粋なチャットボットの回答は、モデルのなかにすでに定着した記憶に依存します。そのため、検索型の表面では最近うまく書いておいたページが比較的すばやく引用されますが、記憶ベースの回答では、そのページがモデルに浸透するまでの時間が必要だと観察されています。

ChatGPT のようなチャットボットと Google AI による要約をひとまとめにすると困る。チャットボットはユーザーが対話で質問する表面であるのに対し、AI による要約は検索結果の上部に付く回答表面だ。露出される文脈も、答えを作る材料も異なる。だから一方で引用されたからといって、もう一方でも引用される保証はない。なお、同じチャットボットでもユーザーがウェブ検索機能をオンにすると、記憶型ではなく検索型に近い挙動になる。

3. モデルごとに傾向が異なる

同じ情報を知っていても、それを回答に取り出して使う方法はモデルごとに異なります。あるモデルは出典をきちんと並べますが、あるモデルはブランド名をあまり名指しせず、「コラボレーションツール」のような一般名詞でまとめてしまいます。また、あるモデルは答えを短く区切って一、二か所だけ引用し、あるモデルは候補を広く展開することもあります。こうした傾向の違いのせいで、同じページがあるモデルでは根拠として採用され、別のモデルでは素通りされます。

ひとつのエンジンだけを見ると生じる四つの錯覚

測定する表面をひとつに絞ると、結論が一定の方向に歪みやすくなります。よく現れる錯覚は次の四つです。

• 生存者バイアス。 自社がよく出るエンジンだけを選んで見ると、成績はいつも良く見えます。肝心の、自社が出てこないエンジンは覗かなくなってしまいます。
• 偽りの失敗。 あるエンジンで捉えられなかったからといって「GEO は効果がない」と決めつけがちです。しかし、ほかの表面ではすでに引用されているのに、測定範囲の外だから見えなかっただけ、ということもあります。
• 誤った原因診断。 ひとつの画面の結果だけを見ると「コンテンツの品質問題」に映ります。しかし複数の画面を重ねて見ると、「検索型の表面ではよく出るのに、記憶ベースの表面でだけ漏れている」というふうに原因が絞り込まれ、処方がまったく変わります。
• ぶれる優先順位。 次にどんなコンテンツを作るかを、ひとつのエンジンの成績だけで決めると、そのエンジンの傾向にだけ合わせたコンテンツが一方に偏って積み上がります。

核心はシンプルです。顧客は ChatGPT だけを使うわけではありません。ある人は検索の途中で AI による要約を読み、ある人は Perplexity で比較し、ある人はチャットボットに直接尋ねます。測定がそのうちひとつだけを見ているなら、残りの表面で何が起きているのか分からないまま意思決定をすることになります。

複数のエンジンを合わせて読む方法

複数のエンジンを見るというのは、画面の数を増やすことではなく、表面の性質を区別して読むことに近いです。二つの軸で整理すると、ひと目で把握できます。

同じ質問でも、表面ごとに結果を別々に記録し、その差が何を意味するのかを解釈するのが要点です。たとえば検索型の表面では引用されるのに、記憶ベースのチャットボットでは出てこないなら、コンテンツは十分だが、まだモデルに浸透する時間が足りないというサインです。逆に検索型でも出てこないなら、いまウェブに引用しやすい形で整理されたページそのものがない、という意味に近いです。このように、同じ「未引用」でも処方は正反対に分かれます。

優先順位を決める4ステップ

複数のエンジンを見るからといって、すべてのエンジンに同時に取り組むことはできません。次の順番で絞り込んでいくのが現実的です。

1. 顧客が実際に使う表面から。 自社の顧客層が主にどこで答えを得るのかを見極め、その表面を第一優先に置きます。検索を多く経由する顧客なら検索型の回答の重みを高め、チャットボットに直接尋ねる顧客なら対話型の重みを高めます。
2. ギャップの大きい質問から。 すべての表面を通じて、競合は出るのに自社だけが漏れている質問を洗い出すと、そこが最も損をしている地点です。
3. 直しやすい原因から。 検索型でだけ漏れているなら、ページを引用しやすく整理することで比較的すばやく埋められます。しかし、すべての表面で漏れているなら、コンテンツを新たに作らなければならず、より大きな作業になります。
4. 同じ周期で再測定。 直したあとに、同じ質問を同じ表面群へ再び投げて変化を確認します。ただし表面ごとに反応速度が異なるので、一度の測定で決めつけず、トレンドで見るべきです。

実践チェックリスト

いま引用測定を行っているなら、以下の項目で一度点検してみてください。

• 測定する表面がひとつに固定されていないか、対話型と検索型の両方を見ているか。
• 表面ごとに結果を別々に集計しているか、それともひとまとめにしてしまっているか。
• 「未引用」を見つけたとき、検索型なのか記憶型なのかによって原因を分けて見ているか。
• 次のコンテンツの優先順位を、ひとつのエンジンの成績ではなく、複数の表面のギャップで決めているか。
• 再測定の周期が、表面ごとの反応速度を踏まえられるくらい一貫しているか。

ひとつのエンジンだけを見ると、画面ひとつは鮮明になりますが、その外で起きていることはまるごと死角になります。複数の表面を同じ質問で合わせて測定し、表面ごとの性質に合わせて別々に解釈するとき、「次に何を直すか」が推測ではなくデータに近づきます。ナッジオは、その複数の表面の引用状況をひとつの場所で確認できるよう支援します。