去年,我们基于10种扇出类型发布了一个理解查询扇出的框架,这些类型代表了我们在Google搜索结果中观察到的模式(主要来自Web Guide Beta):
代表Google搜索结果观察的10种扇出类型框架
为了将这项工作提升到新的水平,我们需要可靠、可重复的提示词和指标,而不仅仅是零散的经验证据。在过去的几个月里,我着手建立了一个提示词生成实验室,并构建了一个包含1,000个子主题和50,000个扇出提示词的数据集。
今天,我想与大家分享这个数据集以及我们从中获得的洞察。虽然这个数据集的设计初衷是改进我们的扇出模型,但它已经让我们在很多方面有了深刻认识——品牌如何与意图重叠、如何衡量相关性,以及搜索长尾的演变。
1. 品牌很强大,但意图更重要
在我们早期尝试生成查询扇出提示词时,只要提示词中提到品牌或竞争对手,就会强烈影响LLM将品牌词放入扇出结果中。如果提示词中包含某个品牌,那么LLM响应中提及该品牌的概率几乎为100%,这引入了大量的偏差。
在50k数据集中,我们为每个子主题生成了一个主品牌和两个竞争对手,并将它们作为提示词中的“上下文提示”(contextual hints)。可以把它看作一种“轻推”而非“指令”——这个区别在LLM中可能产生巨大差异。
在最新的分析中,12.8%的生成提示词包含了主品牌或两个竞争对手之一的提及。更有趣的是下面这一点。看看生成品牌提及最多的前五种扇出类型:
按扇出类型划分的品牌提及条形图
仅两种扇出类型就占了品牌提及的97%。[实体]扇出中的品牌提及并不令人意外——毕竟品牌本身就是实体——但[比较]扇出也有很强的品牌成分。第二名之后的类型几乎可以忽略不计。
虽然我们当前的提示词生成逻辑通常旨在抑制提示词本身的品牌提及,但扇出意图与品牌可见度之间的重叠是不可否认的。品牌提及并非随机发生——它们很大程度上受到我们选择跟踪的提示词类型的影响。
2. 扇出紧扣主题,但并非“过分”相关
扇出提示词应该与主题高度契合,对吧?嗯,是的,但我们不希望每个扇出都只是主题的细微变体,只是调换几个词(Google也不希望这样)。我们想要的是有用、多样化且仍然相关的扇出。
为了衡量相关性,我们尝试了几种方法,最终选定了我称之为“对齐度”(Alignment)的指标——即扇出提示词与其子主题的余弦相似度(注意:我们将每个子主题转换成了问题形式,如“什么是[子主题]?”)。
该数据集的“对齐度”分数范围在0.22到1.00之间,平均分为0.67。总体而言,分数在50k个提示词中分布良好:
子主题对齐度分布条形图
余弦相似度分数有时不太好理解,所以我们把它放到具体语境中。请看以下对齐度分数、子主题和对应的扇出提示词示例:
- 0.22 = 云存储服务 / 如何分享文件的私有链接
- 0.67 = LED光疗 / 如何使用LED面罩获得最佳效果
- 0.90 = 数据隐私合规 / 如何确保数据隐私监管合规
- 1.00 = 软件资产管理 / 什么是软件资产管理?
即使0.22也是主题相关的,但已经偏向边缘,并且没有提及子主题中的任何词。而0.90则明显紧扣主题,并且包含了子主题中的大部分关键词。
那么,什么才是一个好的对齐度分数?这有点主观,但最终我们希望在“相关于子主题”和“不过度死板导致每个扇出提示词都一样”之间取得平衡。换句话说,我们希望在主题对齐度和扇出多样性之间找到平衡。在本次数据集中,我认为0.67的平均分代表了一个良好的平衡——我们算它合格。
3. 扇出集中在“中长尾”
当我们从主题转向问题时——无论是在自然搜索中还是在LLM中——我们自然会更深入地进入SEO通常所说的“长尾”。我们的扇出提示词生成逻辑将最大长度限制为12个词,数据集的平均长度为每提示词8.2个词(范围为3–13,表现相当合理)。
平均长度(约8个词)的提示词长什么样?例如:
- “如何有效进行租户退租面谈”
- “哪里能找到平价的高尔夫初学者球具”
- “客户为什么会离开他们曾经喜欢的品牌?”
扇出提示词应该多长?我们正在从Gemini收集搜索落地数据,但我们的目标是让提示词足够长以保持具体,同时又足够宽泛,以便针对它们可以覆盖多种变体。人类可能会在Gemini或ChatGPT中写一大段话,但营销人员无法追踪所有内容。
有趣的是,Gemini本人在给定最大12个词的限制下,最终的平均长度也是8.2个词。这告诉我们,为了从主题和子主题生成有趣的扇出,我们需要怎样的提示词长度。
数据集包含什么?
我们希望有一个覆盖广泛主题、一致性强的数据集。我们也希望扇出提示词的数量足够大,使分析有意义,但又不要大到频繁重新评估时过于笨重。以下是基本构成:
- 20个行业垂直领域(通过Google Trends等获取)
- 1,000个子主题(通过Gemini Flash生成)= 每个垂直领域50个
- 50,000个生成的扇出提示词 = 每个子主题50个
- 5,333条来自Gemini API的落地查询
对每个子主题,我们使用专有的扇出方法,为10种扇出类型各生成5个实例(因此,50,000 = 1,000 × 5 × 10)。我们还使用Gemini为每个子主题推荐了一个主品牌和两个竞争对手。
这里所有数据均使用Gemini API生成,运行的是Gemini 3.1 Flash Lite,除了落地查询使用的是Gemini 3.5 Flash(后面会详细介绍)。
免费数据(主题、扇出及指标)
我们向读者分享所有原始数据,希望能引发更多关于查询扇出的讨论,以及它如何影响GenAI时代的关键词研究和提示词研究。我们非常期待听到您的见解,以及您如何将这些数据付诸实践
