提示词中的品牌偏见:一项实验”

via https://moz.com/blog/brand-bias-in-llm-prompts

作为搜索营销人员,我们早已意识到需要将品牌关键词与非品牌关键词分开追踪。而在人工智能/大语言模型的世界里,尤其是当我们不仅被要求衡量链接和引用,还要衡量品牌本身的可见度时,提示中的品牌提及对输出结果的影响就变得更为重要——但讽刺的是,这一点似乎得到的关注反而更少。

我们进行了一项实验,探究提示中的品牌提及在多大程度上影响大语言模型输出中的品牌可见度。不过,还有一个更大的问题:对于自然语言提示而言,单纯区分‘品牌’与‘非品牌’是否足够?

打破品牌/非品牌的二元对立
每个搜索查询或大语言模型提示要么是品牌,要么是非品牌,对吧?逻辑上确实如此,但请考虑这样一个提示:‘谁生产最昂贵的豪华汽车?

  • ‘如何协调来自多个搜索平台的关键词评分?’
    我们的主题本身存在一种偏差——关于 SEO 工具的问题,其答案自然容易包含具体的工具和品牌。因此,即使没有加入品牌名称,也没有让系统偏向品牌,我们已经制造了一种软品牌偏差。

非品牌提示词
鉴于上述主题偏差,我们引导系统生成更贴近工具周边、但范围更广的信息性问题。示例如下:

  • ‘如何衡量一个新网站的有机搜索可见度?’
  • ‘定位一个高搜索量的词,还是十个低搜索量的词更好?’
  • ‘处理排名突然下降的最佳方法是什么?’
    我们把这些称为真正的非品牌提示词。即使从这几个例子中也能看出,非品牌与‘软品牌’之间的界限是模糊的,并且在很大程度上取决于主题。品牌提及是一个‘开关’,而品牌偏差则是一个‘旋钮’。”

按提示词类型划分的品牌出现情况
每种类型的提示词在输出结果中导致品牌出现的频率有多高?这是一个‘全有或全无’的衡量标准——只要有任何品牌出现,该输出就被计入。请注意,所有响应均通过 Gemini-3-Flash(经由 Vertex API)收集。

包含品牌的提示词中,100% 都在输出中返回了一个或多个品牌提及。非品牌提示词的比例则下降了近一半(53%),软品牌提示词则介于两者之间。再次说明,我们这个小实验所选择的主题(SEO 工具)本身就存在品牌偏差,因此我们预计整体比例都会相对较高。

虽然我认为这些数字并不令人震惊,但它们确实说明了在大语言模型输出中引入品牌提及偏差是多么容易。那么,品牌提及的总数又是怎样的呢?”

按提示词类型划分的品牌提及数量
说实话,上面的结果并没有让我感到意外,但下图确实让我惊讶。以下是每种提示词类型(每组 100 个)中品牌提及的总数:

平均而言,每个品牌提示词在输出中产生了 14.5 次品牌提及;软品牌组降至每个提示词 1.68 次;非品牌组则为 0.79 次(不足 1 次)。在提示词中植入品牌,不仅几乎能保证得到品牌化的回答,还可能带来多次品牌提及(以及许多情况下的竞品提及)。

小心你的愿望
当我们试图更好地窥探‘AI’品牌可见度时,我们不仅要考虑品牌提及能多么显著地改变输出结果,还要考虑整个品牌偏差的光谱。我们提问的方式,甚至驱动这些问题的主题本身,都可能极大地影响大语言模型如何呈现品牌。

当然,有些时候我们确实想知道大语言模型如何看待我们的品牌以及竞品品牌,而世界上并不存在完全无偏见的视角。但关键在于,我们的提示词追踪和提示词生成必须反映多样化的搜索者意图,包括品牌意图。在自然语言的世界里,我们还必须超越品牌/非品牌的二元对立,去思考一个提示词即使没有提及具体品牌,也可能自然地驱动品牌可见度。

这里没有放之四海而皆准的答案,我也无法给你一个关于品牌提及次数的神奇数字。但一如既往,关键在于意识和多样化。就像你在自然搜索和付费搜索中会区分品牌与非品牌关键词一样,思考品牌、软品牌和非品牌提示词会如何使你的 AI/大语言模型可见度产生偏差,也同样重要

Leave a Reply

Your email address will not be published. Required fields are marked *

Leave a Reply

Your email address will not be published. Required fields are marked *