一、利用ROBOT屏蔽其他网址6 P7 k; A3 }% k2 m3 l
$ u( ? w3 f; w0 A8 Y) Z
一般来说每个网站都会带有两个网址,特别是一些要生成静态的网站,本身就存在一个动态的,自然生成静态后就会多出一个网址,这样当这篇文章收录时,两个网址也同时被收录了,因为把其中同一篇文章的两个网址看作是独立的,自然就两个都被收录了。其实很多时候,在网络tuiguang时站长们都希望自己的网站收录多,但是同样的文章重复几次的收录,对于网站优化确实存在一种增加收录的现象,但是过不了多久,同类的就会删除掉,毕竟一样的内容存在搜索引擎数据库中只会占用空间。 9 B/ h* f+ T' k* F4 X0 K& L5 w1 C 4 z N6 M7 s6 \ 二、利用网站地图引导蜘蛛6 o! J* j/ e3 N7 Q: S
! ]6 [- ~* S) m$ h- X1 G 蜘蛛爬行是首先爬行ROBOT文件,然后接着就是网站地图,再者是首页。那么通过给网站设置地图不但可以减小网站重复收录的现象,而且还让蜘蛛爬行更加的顺畅。很多站长对于网站地图不在意,其实网站地图网络tuiguang起到的效果就像大厦的平面图,让蜘蛛一看就知道网站的全部内容,自然抓取起来就方便多了,而且拥有一个完整的网站地图,并且每次更新后生成一次地图,对于网站本身就拥有一定的帮助。而通过网络tuiguang有了地图可以有效的减少重复收录的情况。所以,网站地图的作用不单单是把整站的内容进行归纳,而且还可以让蜘蛛爬行更加的顺畅无阻。减少页面重复收录那是一把好手。# A J0 i' K4 n' Z9 C7 q, H