via https://ipullrank.com/ai-search-user-behavior
对比同一组用户在一个月内使用AI搜索和Google搜索的情况，以考察他们在不同平台上的行为差异。
摘要： 我在两个Datos面板中匹配了16,310名用户，以比较每个用户如何使用Google和LLM进行搜索，并理解为什么我们需要以不同于关键词的方式来跟踪提示词。在Google上，87%的搜索是查找型，只有8%的搜索是问题型。在AI上，问题占提示词的27%，是Google比例的3.3倍。对于同样的需求，AI提示词平均几乎是Google搜索的两倍长。向AI提问时，用户添加的个人细节多出6倍以上。虽然AI搜索仅占用户查询量的2.7%，但提示词通常独立存在，前后没有匹配的Google搜索。结果显示，这两个搜索界面上的用户行为存在巨大差异，以至于传统的Google搜索行为很难预测AI搜索行为。
—–
跟踪AI可见性的效果，取决于提示词集本身的质量。你的团队如何选择要跟踪的内容？有些团队将关键词列表扩展为问题，有些团队根据用户画像生成提示词，还有些团队直接让LLM来完成这项工作。最强的起点是有关你的受众实际会问什么的数据：销售电话、潜在客户咨询、客户问题和FAQ都可以告诉你人们关心什么以及他们使用的语言。
但这些方法本身都无法告诉你，你所跟踪的提示词是否看起来像用户实际给LLM的提示词。
Mike King最近提出，AI搜索跟踪没有准确性，只有精确性，而提示词集是塑造数字的方法论选择之一。在他引用的研究中，当提示词的措辞偏离原始版本足够远时，品牌可见性下降了约一半。如果措辞的微小变化就能让测量结果变动如此之大，那么问题就不仅仅是你的提示词集是否覆盖了正确的主题，而是它是否类似于人们实际使用AI的方式。
我没有争论哪种方法正确，而是直接观察了行为本身。我选取了同样的16,310名用户，跟踪他们在传统Google搜索和AI搜索中输入的内容，为期一个月，并逐一进行比较。结果显示，两者之间的差距远比关键词列表所暗示的要大得多。
我想测试什么
我为iPullRank客户开发了一套自己的提示词集构建方法，考虑了主题覆盖、漏斗阶段、用户画像和上下文限定词。但任何提示词集，包括我自己的，只有反映受众实际行为和他们使用的语言时才有用。一个仪表盘无论是报告真实用户行为还是报告没人输入的查询，看起来都同样权威。
主要研究问题：
用户在传统Google搜索和LLM上的行为有多大差异？
次要问题：
- 当同一个人使用Google搜索和向LLM提问时，查询意图有多大差异？
- AI提示词和Google搜索在长度上有何不同？
- 用户在每个搜索界面中添加了多少限定性上下文（角色、预算、工具栈、约束条件）？
- 目前用户总搜索量中有多少发生在LLM上？
- 你能从一个人在Google上的搜索方式预测他们如何向LLM提问吗？
假设
甚至在我从事SEO之前，我就知道我必须某种程度上“操纵”Google，让它给我传统搜索中真正想要的结果。这意味着要以特定方式输入：用短语而不是句子，精简为我认为能匹配页面的名词。现在，鉴于我的职业，我知道那些就是关键词，而且我那样输入是有真正原因的。
使用LLM时，我知道我可以想说多少就说多少，甚至不需要说得通。我把背景、目标、预算、约束条件放在前面。我打错字也继续打。我堆叠细节直到得到我想要的东西。
还记得在Google中输入“dog + tree + image”吗？后来演变为“dog under tree”，然后你点击到图片标签页。购买决策也是如此。在Google上，你输入“best laptop”，浏览几篇列表文章，然后自己在两三次搜索中缩小选项：“best laptop for video editing”，然后“best laptop for video editing under 1500”。使用LLM时，你跳过所有这些，开头就说“我是一名自由视频编辑，预算1,500美元，主要用Premiere剪辑4K素材，需要一台能带到客户拍摄现场的电脑，我应该买什么？”同一个人，同样的目标，但这不是同样的行为，第二个版本携带了关键词导出永远不会有的东西：职业、预算、软件栈、使用场景。我预计LLM提示词会比Google搜索更长，并且充满更多细节。
方法论
数据集
我合并了两个Datos面板，在用户层面进行匹配，以比较同样的16,310名用户在传统Google搜索和AI搜索上的行为。
第一个数据集是我分析130亿次Google搜索所用的Google点击流面板。第二个是Datos AI提示词和查询面板，记录了真实用户在Perplexity、Copilot和you.com中输入的提示词。两个面板以相同方式过滤：美国、桌面端、2024年11月。
两个面板分配相同的用户ID，AI面板中33,829名用户中有16,947名（50.1%）也出现在当月的Google面板中。两个随机分配的ID空间之间50%的重叠不可能偶然发生，因此面板显然共享一个ID系统。我用第二种方式确认了匹配：在14,325名有记录城市的匹配用户中，100%在两个面板中位于同一城市。这些是桌面面板，因此ID标识的是设备或浏览器配置文件，而不是个人，这是解读这些数字时应有的谨慎程度。
我测量了什么
对于16,310名匹配用户中的每一位，我从五个方面比较了传统Google和AI搜索活动：
- 意图：每个查询/提示词的类型（导航型、信息型等）
- 长度：用户查询/提示词包含多少词
- 上下文：用户在查询中添加了多少背景细节
- 份额：每个用户总搜索活动中发生在每个界面上的比例
- 可预测性：用户的传统Google搜索风格是否能预测其AI搜索风格
找到你的AI搜索准备度水平
回答几个关于你组织的AI搜索策略、内容、技术基础、衡量和执行能力的问题。
我们将为你指出适合你当前所处阶段的准备度阶段。
开始评估
分析方法
少数面板成员将同一查询运行了数百次，这是自动化而非行为（最繁忙的单个用户记录了13,899次查询；中位数为2次）。我将每个人加查询的唯一组合计数一次，因此脚本触发“best crm software”500次与一个人输入一次权重相同。
当我比较个体行为时（每个用户的查询有多长，以及他们的Google措辞是否预测了他们的AI措辞），我首先计算每个用户自己的数字，然后取平均值，因此每个用户无论当月运行了3次还是300次查询都只计一次。
我根据用户在做的事情对每个查询进行分类，使用查询开头的词和一些结构线索。查询分为13种类型，我将其归为三类任务：查找（查找关键词、导航到网站、购物或按位置搜索）、提问（一个问题、操作指南、比较、以你的情况开头的问题，或以谈论自己开头的问题）和执行（移交任务、创建内容、总结或修复内容，或“扮演”）。相同的规则在两个界面上运行。我用每侧的真实示例进行了检查，并修正了误判的情况，比如Google上的歌词被计为“扮演”。
然后我从相反方向检查了分类。我忽略13种类型，只计算每个查询的字面第一个词。在AI搜索中，“what”和“how”等问题词自行升至顶部，“i”、“can”、“write”和“give”紧随其后。在Google上，排名前列的开头词是通用名词和品牌名称。
我还移除了两类会让AI显得更好的查询。第一，15个AI工具建议用户点击的提示词（如Copilot的“what are some daily habits for happiness?”）在数十个用户中逐字出现，所以我把它们去掉了。第二，一些用户在同一分钟内将Google搜索查询直接粘贴到LLM中。我将其作为单独数字报告，并将这些复制品排除在比较之外。
每个主要差异都具有统计显著性（p < 0.001），并且当我将分析限制在每侧至少5次查询的用户时，每个差异都成立，此时每用户比率最可靠。
发现1：问题在AI搜索中的出现频率是Google的3.3倍
为了分解用户意图，我将搜索分为三类：
- 查找：关键词/实体、导航、交易、本地
- 提问：信息型问题、操作指南、推荐/比较、场景/上下文引导、第一人称上下文
- 执行：请求/命令、任务/生成、粘贴上下文、角色提示
Google用于查找，AI用于执行
在Google上，84.8%的查询是关键词或实体，8.1%是信息型问题，2.1%是操作指南，其他所有类型都低于2%。像“write”、“create”或“summarize”这样的移交在Google上几乎不存在（合计低于0.5%）。在LLM上，同样的用户46.3%的时间使用关键词或实体，26.8%的时间提出信息型问题，6.9%的时间发出请求，5.7%的时间以第一人称上下文开头。在13种查询类型中，AI搜索的分布比Google均匀得多。
Google训练我们所有人将需求压缩成几个名词，因此SERP研究建立在代表这些n-gram的关键词之上。LLM给用户更多空间来阐明他们真正想要什么。他们能够创建、写作、比较和移交任务。因此，用例的分解发生了变化。“Write me a comparison of these three tools for my team”没有Google搜索等价物，因此再多搜索数据也无法浮现它。如果你的提示词集只是将关键词行为转化为问题，你就遗漏了用户实际使用AI的重要部分。
发现2：对于同样的需求，AI提示词几乎是Google查询的两倍长
请记住，这一发现剔除了所有Perplexity行，因为Perplexity在此数据集中将提示词截断为30个字符。剩下16,310名用户中的5,138名至少写了一条全文AI提示词。
在他们所有查询中，同样的用户在AI搜索中平均8.4个词，在Google上4.2个词。但平均值隐藏了一些东西：典型用户在两个平台上都写约3个词。少数写长而详细提示词的用户拉高了AI平均值。
当保持需求不变时，差异变得更加清晰。我将每个人的Google搜索与关于同一事物的AI提示词配对（同一用户、共享关键术语），得到267个匹配对。对于同样的需求，AI版本中位数为9个词，而Google搜索为5个词，并且在60%的情况下是两者中较长的。
看看四个用户在这两个搜索界面中输入的實際示例：
使用LLM时，人们像和人说话一样说话，添加上下文（在Airbnb举办的32人婚礼）、约束条件（3.5mm插头，不是2.5mm）和实际问题。使用Google搜索时，他们将查询缩短到最低限度。
Jan Ehrlinspiel、Malte Landwehr和Tomek Rudzki分析了五个引擎的近38,000条回复，发现当提示词被改写得接近原始版本时，品牌可见性保持稳定，而当措辞偏离更远时下降约一半。关于同一需求的4词提示词和28词提示词不是同一测量的两个版本。它们是两种不同的测量。要点不是让每个跟踪的提示词都变长，因为大多数用户仍然向LLM输入短查询。而是提示词集应该同时包含两种形态：快速查找和同一个人在需求变得具体时写的详细版本。
发现3：约1/12的AI提示词携带个人上下文，而Google搜索约为1/100
仅长度并不能告诉你那些额外的词在做什么。使用AI搜索时，用户不仅在写更长的查询；他们在给模型关于自己的信息，这些信息可以改变什么是有用答案。
衡量这一点原来很难。关键词规则做不到：正则表达式捕获不到一半的真实案例，并且标记了大量误报。因此我手动标记了来自同一用户的唯一查询的随机样本，并计算了一件具体的事情：查询是否揭示了提问者的角色、情况或目的。
约1/12的AI提示词做到了（8.0%）。在Google上，约为1/100（1.2%）。
在iPullRank的个人智能实验中，个人信号改变了AI模式推荐哪些品牌。当有人写“I used to use Mint, but it’s gone now”时，他们已经告诉模型他们之前在使用什么、为什么切换，以及替代品必须做什么。“Best budgeting app”问的是不同的问题，可能得到不同的品牌集合。
发现4：AI占搜索量不到3%，96%的提示词没有匹配的Google查询
同一个人使用AI搜索而非传统Google搜索的频率如何？
面板中同时使用两个界面的典型用户在11月发送了2条AI提示词，而Google搜索为92次。LLM占他们搜索量的2.7%，62.7%的用户在LLM上的搜索量不到5%。
当用户确实使用AI搜索时，大多数提示词没有匹配的Google搜索：对于96%的AI提示词，同一用户在30分钟内没有在Google上搜索该主题。
缩小到整月来看，用户明显两者都用。约1/5的人在某个时候将同样的需求带到传统Google搜索和LLM，通常在一小时内，没有固定顺序：Google在51.9%的情况下先出现，因此两个界面都不是可靠的起点。一小部分用户（3.7%）在同一分钟内两个平台运行了相同查询，这是一次搜索直接带过去，而不是两个独立需求。
AI搜索中发生的大部分事情在Google数据中不留痕迹。你无法从Search Console或关键词工具逆向工程这些提示词，因为对大多数提示词来说，Google查询从未发生。这就是为什么iPullRank的衡量框架将可见性视为渠道指标，需要根据真实结果进行验证，以及为什么你跟踪的提示词需要基于AI行为建模。
发现5：Google习惯只能解释一个人如何向AI提问的4%
我想知道一个人的Google习惯是否能预测他们如何向LLM提问。对于每个人，我测量了他们以四种方式开头查询的频率：作为问题、作为命令、通过谈论自己，或作为裸关键词。这些是开头形态而非13种意图类型，因为界面之间延续的是某人如何开始查询。然后我检查他们的Google比率是否预测他们在AI上相同行为的比率。
我只纳入每侧至少5次查询的用户（3,643名用户），因为少于这个数量会给出噪声较大的比率。
没有习惯以有意义的方式延续。最强的是关键词习惯：某人在Google上输入裸关键词的频率解释了他们在AI上这样做的频率的8.2%。问题措辞解释了6.3%。命令解释了0.4%，以谈论自己开头解释了0.1%，这实际上等于没有。将四个习惯加在一起，某人的完整Google画像解释了其AI行为的4%。
更直白的说法：如果Google习惯延续，一个人的AI行为应该更像他们自己的Google行为，而不是陌生人的。它在56.9%的情况下确实如此，而硬币翻转基线为50%。
最鲜明的版本是从未将Google搜索表述为问题的用户。有796人，占该组的22%。在AI上，其中41%的人至少问了一个问题，问题平均占他们提示词的13.5%。确实向Google提问的用户平均为32.7%。所以习惯有一点影响，但界面影响大得多。
这对品牌意味着什么
如果你的提示词集应该代表你的受众如何使用AI，那么集合本身需要被视为研究输入，而不是加了问号的关键词列表。
以下是实践中的含义：
- 镜像任务组合。 在AI搜索中，大约一半的提示词是查找，4/10是提问。如果你的集合几乎全是查找，它就是在建模传统Google搜索。
- 携带两种形态。 包括需求的短版本和详细版本，因为它们是不同的测量。同样的需求可能根据用户给模型的上下文量产生实质性不同的提示词。
- 写入上下文。 约1/12的真实提示词说明了谁在问或为什么问。用户画像提示词应反映实际角色、情况和目的（就像iPullRank的提示词配方那样），而不仅仅是人口统计标签。
- 使用搜索数据获取主题，而非措辞。 它告诉你受众关心什么，但无法告诉你他们将如何提问。
- 构建后保持集合稳定。 在AI搜索中，没有准确性，只有精确性：一个你保持稳定的代表性集合，随着时间的推移比一个你不断重写的完美集合告诉你更多。
本研究证明了什么、没有证明什么
本研究支持：
- 同样的用户在LLM上的行为与Google上有可测量的差异：不同的任务组合、同样需求下更长的查询，以及多得多的个人上下文。
- 在个人层面，搜索行为是提示词行为的弱预测因子。
- 2024年末，在同时使用两者的用户中，AI占搜索量的很小份额，大多数AI提示词没有匹配的Google搜索。
本研究不能证明：
- 特定提示词集产生不同的可见性数字。我测量的是输入，不是答案。
- 用户今天的行为如何。数据来自2024年11月的美国桌面端。
注意事项：
- 70%的Perplexity行被截断为30个字符；97k行是非Perplexity的
- 面板严重偏向35-44岁（65%）、男性（65%）和美国桌面端（99.9%）
- ChatGPT仅占AI面板的0.1%
- 典型用户当月运行了92次Google搜索和2条AI提示词。
iPullRank的观点
我的发现很简单：同一个人从传统Google搜索转移到AI搜索时，搜索方式不同。他们停止压缩。他们提问、移交任务，并解释他们试图做什么。
这对提示词跟踪有直接影响。提示词集是测量工具的一部分。如果提示词不像用户实际使用AI的方式，你测量的数字可能很精确，但并不特别有用。
因此，无论你如何构建你的集合——关键词扩展、用户画像、LLM生成、客户研究或某种组合——在信任它告诉你的内容之前，用真实行为来测试它。