深入解读robots.txt文件让网站更受搜索引擎喜欢
/ u4 k( q) f+ ?/ o$ k, {+ _
+ x+ k3 n2 y+ X, d" g. a7 ]8 n seo优化教程 seo教程 seo培训seo实战 百度seo 网站推广 网站优化、兰州最好的白癜风医院 http://www.bbb0931.com/
/ f3 a0 R, C, m5 `2 h item.htm?id=16833899498 咱们在讲robots.txt概念的时候，留下一个问题：- u, N+ W/ \3 H; J& n
为什么SEOWHY的robots.txt写得那么复杂？
5 ]# P9 @: L+ U) E# T0 x. B. m7 t' NSEOWHY的robots.txt：/robots.txt这样做的目的是，让搜索引擎看来网站更规范和权威。1、用robots.txt屏蔽相似的页面或没内容的页面。
! l! F; u h8 t9 P# v9 V' y我们知道，搜索引擎收录网页后，会对网页进行“审核”，当网页的相似度很高时，会删除其中一个。比如以下这两个链接，内容其实差不多，所以第一个链接应该屏蔽。第一个的链接非常多，屏蔽时，只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。类似这样的页面，没有内容，也应该屏蔽：这样的链接也很多，屏蔽时，只要屏蔽/index.php?sid= 就屏蔽了所有的。+ K1 b, e* S! t1 p
代码如：Disallow: /index.php?sid=2、用robots.txt屏蔽多余的链接，当动态和静态共存时，一般去掉动态的。
2 @5 B( @( B$ t网站中经常会存在多个链接指向同一个页面，这种情况普遍存在时，会让搜索引擎对网站的权威性产生怀疑。( p5 O# i) R% i2 |
通过robots.txt把非主要的链接去掉。比如以下两个链接指向同样的页面，去掉次要的第一个。3、用robots.txt屏蔽死链接。0 `% t, A0 t7 A0 o' _7 h
死链接就是原来存在，后来因为改版或更新等缘故删除了的链接和网页。
2 `& f/ c# O$ o比如，原来在某个目录（假设目录为/tempweb/）下的所有链接，因为改版现在都变为死链接了，可以用robots.txt屏蔽。 8 \! o4 m2 ^# s; G, e( c
代码如：Disallow: /tempweb/4、用robots.txt屏蔽可能存在的“被K”外部链接。
$ d- p/ E3 P# }) s/ L* e) R' w0 w很多网站（如SEOWHY友链空间的分享功能）允许用户放自己的网站链接，但因为过多的“被K”外部链接可能连累自己。1 T9 z9 h% z& ]5 c4 i$ T
所以，我们把所有外部链接放入一个链接目录下，然后通过robots.txt统一屏蔽。 5 z7 ~/ R) W1 s( E. C; Q
这上面的所有外部链接，就防止了因为指向“被K外连”而遭殃。如果你对Disallow:的具体操作办法不是很清楚，你可以在百度官方提供的robots.txt使用指南、广告一下seo优化教程 seo教程 seo培训seo实战 百度seo 网站推广 网站优化、http://item.taobao.com/item.htm?id=16833899498400套Asp.net网站程序模板 有源码cs 网站建设教程 网站制作教程http://item.taobao.com/item.htm?id=15410302736+ ?" X+ k; f" q) Y( @" s
460多套中文网站模板PSD 网站制作 网页美工企业行业商城甘肃白癜风医院 http://www.bbb0931.com/ . k) r( p' x, n1 a: c2 N
item.htm?id=15410358155
0 U }' T! u0 i& @' c280套asp网站源码带后台商城行业招聘企业|网站模版送淘宝SEO教程# k6 h, C S1 D4 ~6 X
) ]" g6 G; G; @ |
