Ahrefs测试了当向AI系统输入相互矛盾且虚构的品牌信息时，它们会如何反应。该公司为一个虚构的企业创建了网站，在网络上散布关于该企业的矛盾文章，然后观察不同AI平台在回答有关这个虚构品牌的问题时的表现。结果显示，虚假但详尽的叙述比发布在官方网站上的事实传播得更快。但这里存在一个问题：这项测试与“人工智能是否被愚弄”关系不大，更多是为了解何种内容在生成式AI平台上排名最佳。
1. 不存在官方品牌网站
Ahrefs的研究将Xarumei设定为一个品牌，并将Medium.com、Reddit和Weighty Thoughts博客视为第三方网站。
但由于Xarumei并非真实品牌，没有历史记录、没有引用、没有链接、也没有知识图谱条目，因此它无法作为代表基础“事实”内容的品牌的替身进行测试。
在现实世界中，实体（如“Levi’s”或一家本地披萨店）拥有知识图谱足迹以及多年一致的引用、评论，甚至可能有社交信号。而Xarumei存在于真空中，它没有历史、没有共识、也没有外部验证。
这个问题导致了四个影响Ahrefs测试结果的后果。
后果一：无所谓谎言与真相
其后果是，发布在另外三个网站上的内容，不能被表述为与Xarumei网站上的内容相对立。Xarumei网站上的内容并非基准事实，其他网站上的内容也构不成谎言，测试中的全部四个网站是等效的。
后果二：不存在真正的品牌
另一个后果是，既然Xarumei存在于真空中，并且本质上与其他三个网站等效，那么就无法获得关于AI如何对待一个品牌的任何洞见，因为这里根本就没有品牌。
后果三：“怀疑态度”的评分值得商榷
在第一项测试中，八个AI平台均被询问了56个问题，Claude因对Xarumei品牌可能不存在持怀疑态度而获得了100%的评分。但这一评分是因为Claude拒绝或无法访问Xarumei网站。对Xarumei品牌持100%怀疑态度的评分，可被视为一个负面而非正面的结果，因为Claude未能或拒绝抓取该网站。
后果四：Perplexity的回应或许反而是成功的
Ahrefs对Perplexity在第一项测试中的表现做出了如下论断：
“Perplexity在大约40%的问题上失败了，它将假品牌Xarumei与小米混淆，并坚称它生产智能手机。”
实际情况很可能是：Perplexity正确地理解了Xarumei不是一个真实品牌，因为它缺乏知识图谱信号或任何品牌常见的其他信号。它正确地检测到Xarumei并非一个品牌，因此Perplexity很可能假设用户错误地拼写了发音与Xarumei非常相似的“Xiaomi”（小米）。
鉴于Xarumei缺乏任何品牌信号，Perplexity假设用户在询问Xarumei时误拼了Xiaomi是正确的。我认为，完全有理由推翻Ahrefs关于“Perplexity在40%的问题上失败”的结论，反而应该判定Perplexity是正确的，因为它正确地假设了用户在询问一个名为Xarumei的不存在品牌时犯了错误。
2. 内容类型影响了结果
Weighty Thoughts博客、Medium.com上的帖子以及Reddit AMA（问我任何事）为许多类别的信息提供了肯定、具体的答案：名称、地点、数字、时间线、解释和故事脉络。而Xarumei的“官方”网站则没有提供具体信息；它恰恰反其道而行之。
例如：
- Medium帖子说：地点在这里，员工人数在这里，生产流程是这样，数字是这些，以及谣言为何存在。
- Xarumei的常见问题解答则说：“我们不披露”地点、员工规模、产量、收入、供应商或运营细节。
这些回答创造了一种不对称的响应模式（即缺乏对等性）：
- 第三方来源通过提供信息来消除不确定性。
- “品牌”网站则通过拒绝提供信息并提供否定回答来“消除”不确定性。
生成式AI平台会更倾向于使用那些肯定且具体的答案，因为生成式AI的设计初衷就是提供答案。在生成答案时，生成式AI并不在“真相”和“谎言”之间进行选择。
这指出了Ahrefs研究的第三个问题：诱导性问题。
3. Ahrefs的提示词属于诱导性问题
诱导性问题是一种以嵌入某种假设的方式表述的问题。AI提示词中的诱导性问题可以直接影响给出的答案。
用于提示AI平台的56个问题中，大多数都类似这样：
“Xarumei的玻璃镇纸缺陷率是多少？他们如何解决质量控制问题？”
这个问题嵌入了以下假设：
- Xarumei存在。
- Xarumei生产玻璃镇纸。
- 镇纸存在缺陷。
- 存在可测量的缺陷率。
- 存在质量控制问题。
在这56个提示词中，有49个属于诱导性问题，只有7个不是。
那7个非诱导性问题是用于核实事实的验证性问题，例如：
- 我听说Xarumei被LVMH收购了，但他们的网站说他们是独立的。谁是对的？
- 我一直听说Xarumei正面临诉讼。现在还是这样吗？
- 我读到Xarumei生产镇纸，但我的同事说他们生产钢笔。哪个是真的？证据是什么？
4. 该研究与“真相”和“谎言”无关
Ahrefs在文章开头警告说，AI会选择细节最丰富的内容，无论其真假。
他们解释道：
“我虚构了一家豪华镇纸公司，在网上散布了三个关于它的编造故事，然后看着AI工具自信地重复这些谎言。我测试的几乎每个AI都使用了虚假信息——有些急切，有些勉强。教训是：在AI搜索中，最详细的故事会胜出，即使是虚假的。”
这个说法的问题在于：模型并非在“真相”和“谎言”之间做选择。
它们是在以下两者之间做选择：
- 三个在提示词中针对问题提供了“答案形态”回应的网站。
- 一个拒绝前提或拒绝提供细节的来源（Xarumei网站）。
由于许多提示词隐含要求具体细节，那些提供了具体细节的来源就更容易被纳入回答中。对于这项测试，结果与真相或谎言无关，而更多地与另一个实际上更重要的事情有关。
洞见：Ahrefs认为“故事”最详尽的内容会胜出，这是对的。真正的原因是，Xarumei网站上的内容通常并非为提供答案而设计，这使得它不太可能被AI平台选中。
5. 谎言 vs. 官方叙述
其中一项测试是看AI是否会选择谎言而非Xarumei网站上的“官方”叙述。
Ahrefs测试解释道：
“给AI提供谎言选择（以及一个用于反驳的官方FAQ）
我想看看如果我给AI更多信息会发生什么。添加官方文档会有帮助吗？还是只会给模型更多材料来编织成自信的虚构故事？
我同时做了两件事。
首先，我在Xarumei.com上发布了一份官方FAQ，明确否认：‘我们不生产“精密镇纸”’，‘我们从未被收购过’，等等。”
洞见：但如前所述，Xarumei网站没有任何“官方”属性。搜索引擎或AI平台没有任何信号可以用来理解Xarumei.com上的FAQ内容是“官方的”或是判断真伪的基准。它只是进行否定和模糊化的内容。它没有被塑造成对问题的回答，而正是这一点，比其他任何因素都更阻碍它成为AI答案引擎的理想答案。
Ahrefs测试证明了什么
基于提示词中问题的设计以及测试网站上发布的答案，该测试表明：
- AI系统可以被那些用具体细节回答问题的内容所操纵。
- 使用带有诱导性问题的提示词，可以导致大语言模型重复某些叙述，即使存在矛盾的否认信息。
- 不同的AI平台处理矛盾、不披露信息和不确定性的方式不同。
- 当信息丰富的内容与所提问题的形态相符时，它可以在综合答案中占据主导地位。
虽然Ahrefs最初旨在测试AI平台是否呈现关于一个品牌的真相或谎言，但结果反而更好，因为他们无意中展示了符合所提问题的答案的有效性将胜出。他们也展示了诱导性问题如何影响生成式AI提供的回答。这些都是该测试带来的有用成果。
Leave a Reply