原文地址：https://moz.com/blog/resolve-duplicate-content

大家好，Moz的粉丝们！欢迎来到新一期的《白板星期五》。我是梅根，Moz学习团队的一员。今天我们来聊聊重复内容。

为什么要讨论重复内容呢？

因为这确实是个常见问题，而且常常令人困惑。它到底是什么？如何判断？为什么我网站上的某些页面会被标记为彼此重复？最重要的是，如果我发现自己网站存在这个问题并想解决，该怎么做？

什么是重复内容？
首先，重复内容究竟是什么？

简单来说，重复内容是指在互联网上多个不同位置出现的内容。但事情并非表面那么简单——即使内容不完全相同，只要过于相似，也可能被视为彼此重复。

考虑重复内容时，重要的一点是：这不仅关乎人类访问者浏览网站时对两个页面的观感，更关乎搜索引擎爬虫抓取这些页面时的识别方式。由于爬虫无法像人类那样看到渲染后的页面，它们通常依据页面源代码进行判断。如果两段代码过于相似，爬虫就可能认为这是同一页面的两个版本。

想象一下：你走进一家烘焙店，面前有两个几乎一模一样的纸杯蛋糕，且没有任何标识。你该如何选择？当搜索引擎遇到两个过于相似的页面时，面临的正是这种困境。

这种内容间的混淆可能导致排名问题——搜索引擎可能无法判断该优先展示哪个页面，甚至错误地展示不合适的页面。在Moz的工具中，我们设定了90%的重复内容阈值：任何源代码相似度达到90%及以上的页面，都会被标记为彼此重复。

如何解决重复内容问题？
了解重复内容的基本概念后，我们该如何应对呢？其实有几种不同的解决方法。

重定向陈旧或过时的内容
（白板特写部分展示301重定向）
301重定向
第一种方法是实施301重定向。这好比您有一部电影的VHS录像带，它可能已经不再适用了。因此，您需要确保为大家提供在线播放的数字版本。在您的网站上，您可以将旧版页面重定向到新的更新版本。这同样适用于解决子域名变更、协议变更（如HTTP到HTTPS）以及内容更新后不希望用户再访问旧版内容的情况。

设置规范标签
（白板特写部分展示规范标签）
Rel=canonical
第二种方法是在页面上实施rel=canonical（规范标签）。想象您在烘焙义卖会上，有两种饼干：糖霜饼干和巧克力豆饼干。您认为自己的糖霜饼干是一流的。因此，当人们问该尝试哪一种时，您会指向糖霜饼干，尽管他们仍然可以选择品尝巧克力豆饼干。在您的网站上，这类似于销售两种不同颜色的商品。您希望访客能看到并访问这两种颜色，但您会使用规范标签来告诉爬虫哪个页面更相关、更值得被收录排名。

识别缺失规范标签的页面
（可在Moz Pro网站抓取工具中操作）

对仍需保留但不想被抓取的页面使用Noindex
（白板特写部分展示noindex选项）
Meta noindex
您还可以选择将页面标记为meta noindex。例如，您可能拥有最喜欢书籍的两个版本。您会阅读并参考第二版，因为它最新、最相关。但您仍希望在需要时能够阅读和访问第一版。Meta noindex标签告诉爬虫：它们仍然可以抓取这个重复页面，但不应将其收录到索引中。这有助于解决因分页等问题导致的重复内容问题。

为页面添加更多内容
（白板特写部分展示添加内容选项）
添加内容
但如果您的两个页面实际上并非彼此重复呢？它们涉及不同主题，本应被视为独立的内容。那么，在这种情况下，您可以选择为每个页面添加更多内容，以减少爬虫的困惑。这能让它们彼此区分开来，就像给一个纸杯蛋糕加上糖粒和樱桃，而给另一个涂上不同颜色的糖霜。

使用Moz Pro帮助识别和解决重复内容
如果您需要帮助识别网站上哪些页面可能被视为彼此重复，Moz Pro网站抓取和按需抓取工具可以助您一臂之力。
（Moz Pro重复内容功能区域截图）
在这两个工具中，我们会标记出哪些页面被视为彼此重复，您甚至可以将数据导出为CSV文件，以便在工具之外进行分析。这里有个小技巧：在导出的CSV数据中，”问题分组标识符”会告诉您哪些页面被视为彼此重复。
（Moz Pro重复内容CSV文件截图）
因此，任何具有相同重复内容组编号的页面都属于同一重复页面组。当然，这绝非解决重复内容问题方法的全部，但我希望它能为您处理此类问题时指引正确方向。如果您想了解更多关于SEO基础知识和策略的内容，请务必查看Moz学院提供的SEO基础认证课程。