原文链接：https://moz.com/blog/large-site-seo-basics-faceted-navigation

对于企业网站来说，尤其是电商网站或者分类网站，常会使用多维度导航的结构，这种结构能帮助用户更好地筛选出所需要的结果。然而对SEO来说，却是个噩梦，我之前服务过的客户，经常有由于多维导航而导致的数以百万计的筛选页面链接产生，而且还是可抓取可收录的，

之前有不少帖子深入研究过这个问题，这篇文章介绍了多维导航对SEO的具体影响（https://moz.com/blog/building-faceted-navigation-that-doesnt-suck），我也写过一篇文章http://www.86i87.com/2013/06/21/crawler-resource-distribution/

本文想解决的是把梳理这一类现象，并且给出对应的解决方案。我们面对的核心问题其实是：“有哪些方法可以影响Google对页面的抓取和收录，以及这些方法的优缺点是什么？”

 

简要回顾多维度导航

一句话概括，多维度导航是指网页上存在根据一系列属性（属性之间无明显相关性）筛选结果的导航形式。以下图为例，通过处理器类型、屏幕分辨率、外壳颜色等不同属性来挑选笔记本电脑，这样的展现方式就是多维度导航

由于每种可能的排列组合属性的方式都会生成一种URL，多维度导航给SEO带来了几个问题

1.产生了大量的重复内容

2.消耗了有限的爬虫资源，而且返回给搜索引擎错误的信号

3.稀释了链接权重，同时链接权重传递给了本不该获得权重的页面。

来点具体的案例

看看一些多维度导航在网站上具体实施的例子以及对SEO的影响，你就知道为何要重视这个问题了。

 

Macy’s

在Google上搜索“site:https://www.macys.com/  black dresses”, Macys网站上符合这个条件的商品有1991个，然而Google却收录了12000多个页面。原因在于多维度导航设置的缺陷，可以从SEO的角度修复

 

Home Depot

再来看看Home Depot这个网站，搜索外开门会找到8930个页面，真的有必要让搜索引擎收录这么多相似产品的筛选页面吗？其实未必，当然也可以通过下面介绍的方法修复这个问题。

 

对于大型电商网站来说，这样的情况还真不少，我想说的是，其实这些网站在多维度导航这件事上还可以做得更阿基SEO友好一点。

多维度导航SEO解决方案

解决这个问题，首先要明确哪些内容需要被收录，哪些则是要避免收录的，以及如何达成这两个目的、我们来看看咱们手头都有哪些武器？

 

“Noindex, follow”

Noindex标签是大多数人首先想到的方案，该标签唯一的作用就是告诉爬虫别收录这个页面，因此对避免收录这个目的来说相当有用。

不过，虽然使用Noindex标签可以有效减少重复页面收录，但仍然会消耗爬虫资源，以及这些重复页面会接受链接权重，因此有效页面能获得的权重就会减少。

操作实例: 以上文提到的Macys网站为例，如果想收录“black dresses”页面，但是不想收录“100元以内的black dress”页面，在后面的筛选页面里面添加noindex标签就可以了。不过爬虫资源和链接资源的消耗是无法规避的。

Canonicalization

使用Canonical标签也是常见的应对方法。Canonical标签的意义在于告诉Google爬虫这一类页面相似度很高，只需要抓取网站返回给你的标准版页面就可以啦。Canonical标签的设计初衷就是为了解决重复内容的问题，而且链接权重也会被集中到标准版页面，看起来是个不错的方案。

可惜的是，Google爬虫的爬行资源还是会被消耗。

 

操作实例: /black-dresses?under-100/ 可以设置canoncial的URL指向 /black-dresses/.既解决了重复问题，又解决了链接权重分散的问题。

Robots.txt屏蔽

禁止爬虫抓取这部分筛选页面当然也很有效。好处是：速度快，操作方便，并可以自定义拼比页面。不过还是会有不好的影响：首先屏蔽之后，链接权重就好像被黑洞吸进去一样，彻底没有了；另外，有的时候Google也不会遵守Robots协议。比如下图，就是被Robots屏蔽的页面依然会展现在搜索结果里。

 

操作实例:  在Robots.txt中disallow *?under-100* .可以杜绝Google访问任何包含under-100参数的页面，然而如果有其他链接指向这类URL，Google仍然会收录。

 

“Nofollow” 不想收录的链接

可以通过Nofollow多维度导航链接来解决抓取资源消耗的问题，可惜的是，nofollow标签也无法彻底解决问题，这些重复页面依然会被收录，同时链接权重也依然会丢失。

操作实例:  给指向不想被收录的页面的内部链接都加上nofollow标签，意思就是告诉Google别去抓这些页面啦，抓点别的内容更好。

一起解决以上所有问题

首先，如果导航结构还没上线的话，我强烈建议通过不改变URL的方式实现多维度导航（多数通过js脚本实现），这样既不妨碍用户体验，又不会生成多个URL。可惜也有问题：有一些核心导航也能有被收录的价值，还是得给这类页面做入口。

下面这张表格也许能看得更清楚一些：

解决方案	是否解决重复内容问题？	是否解决爬虫资源问题？	是否解决链接权重传递问题？	是否允许外部链接传递权重？	是否允许内部链接权重转移？	备注
“Noindex, follow”	Yes	No	No	Yes	Yes
Canonicalization	Yes	No	Yes	Yes	Yes	只能用于相似页面
Robots.txt	Yes	Yes	No	No	No	Robots屏蔽的页面仍然有可能被收录
Nofollow	No	Yes	No	Yes	No
JavaScript	Yes	Yes	Yes	Yes	Yes	投入更多技术资源

所以有完美的解决方案吗？

首先,并没有一劳永逸的方案，完美的做法应该是以上方案的有机结合。下面这个例子也许适用于大多数网站，但是更重要的是了解自己网站的结构和问题所在，再给出针对性的方案。

制定方案之前先问自己一个问题，对你的网站来说，爬虫的抓取资源和链接权重哪个更加重要？不同答案意味着不同的做法。

例如：不在乎链接权重的损失，只想更好地分配爬虫的抓取资源,我会建议这样做：

1.目录页、子目录可以保留目前的可抓取状态（ /clothing/, /clothing/womens/, /clothing/womens/dresses/类似这样的地址）

2.对单个目录页而言，只允许带一个筛选条件的URL被访问

a. 对包含一个及以上筛选条件的页面，该页面上的筛选链接都加上nofollow属性（比如/clothing/womens/dresses?color=black/）

b.对包含两个及以上筛选条件的页面，同时添加Noindex标签（比如/clothing/womens/dresses?color=black?brand=express?/）

3.评估一下那些筛选条件对SEO有利（例如颜色和品牌名），把这些筛选条件加入白名单，做到可被搜索引擎抓取和收录

4.正确设置canonical 和 rel=prev/next 标签（可参考这篇文章http://www.gsqi.com/marketing-blog/how-to-set-up-pagination-rel-next-prev/）

上述做法可以逐渐缓解多维度导航给网站带来的问题，另外这个方案结合了集中不同的处理方法，包含了nofollow，noindex，canonical标签的组合使用，以获得更好的效果。

 

其他注意事项

有两点需要单独拎出来说一下

面包屑很有用

如果在目录页/子目录页没有面包屑导航， 就是给自己挖了个深坑。因为对于结构复杂的网站来说，面包屑是帮助爬虫理清网站结构最好的工具。

 

固定好URL中的筛选参数

某些情况下，有的网站筛选条件选择的顺序不一样，也会产生不同的URL，这样会让重复页面成倍增长，所以请务必写死筛选条件的排序。

 

总结

希望这篇文章能给你更多改善多维度导航，提升搜索表现的想法，其实主要就下面几点：

 

1.多维度导航用户体验很好，但是往往不利于SEO

2.多维度导航对SEO影响最大的点在于：重复内容、抓取资源浪费、链接权重不能有效传递

3.最核心的问题是：如何控制Google的爬行和收录？

4.没有万能的解决方案，好的做法是组合以下工具：noindex，follow；canonical；robots文件；nofollow；ajax/js.

5.设计解决方案的前提是对链接权重和爬虫资源有个优先级的判断。

【翻译小结】其实这篇文章针对的是google，那百度又是什么情况呢，因为根据经验，canonical标签对百度用处不大，有什么替代工具呢？百度是不是也存在爬虫资源的分配和链接权重传递的问题呢？老实说，只有亲自测试过才知的，我其实也好久没有做过类似改动，因此也挺想看到类似的分享。