via https://codeascraft.com/2016/10/25/seo-title-tag-optimization/
Google和Bing是Etsy（美国一家销售创意商品的电商网站）的 主要流量来源渠道之一，长尾类型的商品对SEO流量的依赖更深。因此Etsy网站的SEO优化相当重要。
我们希望SEO的策略是由数据来驱动，从而确保我们的改动能带来正面效果。Esty经常运行各种测试来优化用户的浏览体验和购物体验，因此自然而然的，我们也想通过测试来提升SEO的表现。然而在站内测试自己的页面和设计相对来说不难，通过试验来衡量页面的SEO效果，要复杂得多。因为有很多不可控因素。
为了克服这些难点，我们首先设计了一个测试体系，一边去有效地评估页面改动对SEO数据的影响，本文就是对SEO实验的方法论，过程中遇到的挑战以及我们对应的处理方法的一个简述。
实验方法论
我们其中的一个实验是这样的，首先我们假设这样一个前提成立：修改在搜索结果里面展示的页面标题能提高页面点击率。Esty有一类百万级别的页面，这类页面是基于用户贡献的内容而生成的，而且这些页面当前最主要的来源就是SEO，因此很适合做这个实验。
下图就是做SEO标题测试的模板，我们设计了六种不同的标题方案。
这个实验其实是受Pinterest和Thumbtack的相关实验所启发，首先对页面进行随机分组，不同组的页面使用不同的标题，通过分析测试组和控制组的SEO流量变化，来评估哪种标题最为有效.我们在实验中设置了两组控制组让实验结果更具说服力
抽样结果
在确保样本量足够达到数据分析标准的前提下，我们，我们每一类页面都抽取了一小部分页面。
由于单个页面的访问量波动较大，会受到各种因素的影响，每类页面抽取了1000个左右以便能迅速看到分析结果。而且在实验开始前就把页面分成了不同的组别。 为了能让测试组之间更具参考性，我们使用了分层抽样，这样可以让相似的页面能尽可能地分在同一组内。
我们查看了所有测试组的统计数据，计算每月的平均值和标准差，为了确保测试准确性，还运行了T-test，所有测试组都通过了这一测试。
评估因果影响
尽管这些测试组在实验开始前，差别并没有达到统计显著性的差异，但是还会有一些微小的因素会影响实验后结论的推理。比如说，测试组XYZ 相比较控制组B有增长的趋势，但是如果在实验开始前控制组B的流量就比测试组XYZ好呢? 因此，仅仅去比较两组的差异并不是最好的分析实验效果的办法。
一个常见的解决方案是计算测试前和测试后数据的差异，并计算 不同组别的差异进行分析。不过这种方法可能会产生两组数据，因为要把测试组分别与两组控制组相对照分析。因此我们觉得采用贝叶斯结构化时间序列（一种机器学习模型）来创建一个合成的控制组，整合两组控制组的信息，这样可以获得更清晰的结果分析。
贝叶斯结构化时间序列分析过程中，首先使用实验前的数据来训练一个机器学习模型，用每个测试组实验前和控制组之间的协方差数据来预测实验后的数据，一旦模型训练好了之后，可以用来为每一个测试组生成假设的、合成控制组 ，用来模拟如果没做实验可能会发生的结果。
本次实验中采用的因果影响分析使用的Google提供的CausalImpact分析包。
结果
实验开始几天后，我们就开始分析数据。有意思的是，有些改动非常细微的标题能带来流量上相当明显的变化。
有一些测试组流量增长显著：
另一些测试组没什么变化.
还有部分测试组，流量有明显下降的走势
A-A 测试
本次实验中的两组对照组，在实验前后流量没有统计意义上的显著变化。
试验后批量上线验证
我们找到了表现最佳的标题之后，所有测试组都应用了这个标题方案。其他组别同样有着相似的流量提升趋势，同时分桶数据之间的方差消失了， 进一步验证了我们的实验结果。。
基于这样两个事实：
1.两组测试组实验前后流量没有变化
2.其他测试组应用效果好的标题之后流量也有增长
很好地验证了我们的实验结果。
讨论
我们的实验结果发现，短一些的标题表现会比长标题更好，有可能是因为短标题更容易匹配用户在Google上的搜索词（可以用Levenshtein Distance 来计算搜索词和标题间的相似度）。
基于相同的假设，针对性更强的标题与常用的搜索词在文本上相似度更高，也能提升匹配比例，从而提高排名。
总之，不同的网站适合不同的SEO策略，我们建议使用缜密的测试系统来寻找最适合自己的SEO策略。
总结
1.选择两组控制组来进行A-A测试，可以让实验结果更值得信赖
2.CausImpact的包能更方便和准确地分析测试组和控制组之间的轻微差异，对实验结果做更精确的预估。
3.对于标题标签来说， 和Google热门搜索词的Levenshtein distance（编辑距离）越小，越容易获得好的效果
翻译批注：可以算是翻译时间最久的一篇文章了，主要是很多统计学概念没有学过，看了Google和百度的介绍理解起来也挺费劲，勉强翻译成这样，如果以后有了更深的认识再来更新哈。