[站长八卦] 【数据时代】网站杜绝大量重复内容

1.为什么会产生重复内容

    重复内容是指不同的URL链接内容却是相同的，造成重复内容的原因可能是内容的采集，直接使用采集工具采集其他站点内容;网站因为网址不规范，导致网站有多个URL地址可以访问，蜘蛛也同时收录多个重复页面;网站没有设置404错误页面，默认所有的错误链接跳转到首页，这样处理错误链接的方法也导致网站大量重复页面;或者因为像商城类的网站，因为产品大小不同，设置多个页面进行介绍，但是网页的大体内容是相同的，这样的情况也会被蜘蛛认为是重复的内容。

2.如何检测重复内容　　

    如果自己站点内部存在重复内容，要检测还是比较容易site:域名，看下搜素引擎是否收录了重复的内容。但是要是检测外部页面是否重复，可以拿页面中的一句话，加上双引号后去搜索引擎查找，如果网络中存在大量的相同句子，点击查看并可知道是否是整篇网页是否重复。往往这样的检测方法比较难，能找出一句话出现在另一篇文章中的可能性低。对于检测一篇文章是否被剽窃，title:+文章标题并可找出相同的文章。、

3.重复内容是否有危害

    网站大量存在采集的重复内容，搜索引擎会认为这样的站点是垃圾站点，会很快遭到搜索引擎的降权处理，往往搜索引擎会降权哪些大量存在重复内容的站点，少量存在复制内容的站点，蜘蛛不会给予降权，蜘蛛会判断重复的页面中，哪些页面是原创页面，对给予这样的重复页面进行排名，搜索引擎有时会存在错误的判断，就会导致站长们经常看到的现象，自己原创的内容被其他站点转载，其他站点收录排名很好，但是自己站点却并没有被收录。在自己网站中存在重复页面，蜘蛛收录的页面链接跟推广的链接不统一，并导致网站权重的丢失，特别是网站中一些重要的页面，如果存在多个URL链接，对用户来说不容易记忆，对蜘蛛来说也是作弊的优化手段，大量存在重复复制内容的站点，搜索引擎会产生作弊优化的猜疑，给予降权处理。

4.如何删除重复内容

    站内的重复内容往往来源于网址不规范，对于网址不规范的问题，最好的解决方法就是301转向，把网站所有的内部链接，规范到统一的URL链接上，减少网站权重的流失。对于是因为版本的不同导致的重复内容，可以使用robots文件屏蔽，禁止蜘蛛抓取不必要的页面，或者不希望收录的链接可以用nofollow标签。前面说到的商城网站因为产品的大小不同，导致的重复页面收录，可以使用canonical标签，百度支持Canonical标签以后，站长可以通过将元素和rel="canonical" 属性添加到该网页非规范版本的部分，为搜索引擎指定规范网页。在外部站点上出现的重复内容，可以通过和站长们进行沟通，添加上文章内容的原创来源，减少原创内容被采集带去的危害。

本文来自: 数据时代(www.sjera.com) 详细出处参考：http://www.sjera.com/webopt/opt_art853.html