深入解读robots.txt文件让网站更受搜索引擎喜欢
; x0 ~, A; D9 ~
$ p/ a! {5 n0 T) x4 c# ]: g( ?$ [ seo优化教程 seo教程 seo培训seo实战 百度seo 网站推广 网站优化、兰州最好的白癜风医院 http://www.bbb0931.com/ 2 ~) [ v) N5 G. w# t4 O: h) D8 k
item.htm?id=16833899498 咱们在讲robots.txt概念的时候，留下一个问题：
* C1 a/ A& z' a- v! s2 O为什么SEOWHY的robots.txt写得那么复杂？ : i, L: b9 _0 E Y& G/ V6 x- f
SEOWHY的robots.txt：/robots.txt这样做的目的是，让搜索引擎看来网站更规范和权威。1、用robots.txt屏蔽相似的页面或没内容的页面。
; t W$ p: w% s, ]9 u9 L5 u我们知道，搜索引擎收录网页后，会对网页进行“审核”，当网页的相似度很高时，会删除其中一个。比如以下这两个链接，内容其实差不多，所以第一个链接应该屏蔽。第一个的链接非常多，屏蔽时，只要屏蔽/bbs/redirect.php? 就屏蔽了所有的。类似这样的页面，没有内容，也应该屏蔽：这样的链接也很多，屏蔽时，只要屏蔽/index.php?sid= 就屏蔽了所有的。6 U2 `! r" g. W
代码如：Disallow: /index.php?sid=2、用robots.txt屏蔽多余的链接，当动态和静态共存时，一般去掉动态的。; N+ X! {" i" p4 }+ z* x
网站中经常会存在多个链接指向同一个页面，这种情况普遍存在时，会让搜索引擎对网站的权威性产生怀疑。, `9 P& N- ]# d/ E, G; j n
通过robots.txt把非主要的链接去掉。比如以下两个链接指向同样的页面，去掉次要的第一个。3、用robots.txt屏蔽死链接。. t& T& C L& f7 F* _4 u+ D* f+ i
死链接就是原来存在，后来因为改版或更新等缘故删除了的链接和网页。# X) o5 [, W- S
比如，原来在某个目录（假设目录为/tempweb/）下的所有链接，因为改版现在都变为死链接了，可以用robots.txt屏蔽。
. k% Q$ U Q( E3 g& W代码如：Disallow: /tempweb/4、用robots.txt屏蔽可能存在的“被K”外部链接。! k. o0 g% c& H7 i0 D; ]% ^
很多网站（如SEOWHY友链空间的分享功能）允许用户放自己的网站链接，但因为过多的“被K”外部链接可能连累自己。0 w, f$ W2 F2 n: e
所以，我们把所有外部链接放入一个链接目录下，然后通过robots.txt统一屏蔽。
3 x) e: P. z+ N+ F* c这上面的所有外部链接，就防止了因为指向“被K外连”而遭殃。如果你对Disallow:的具体操作办法不是很清楚，你可以在百度官方提供的robots.txt使用指南、广告一下seo优化教程 seo教程 seo培训seo实战 百度seo 网站推广 网站优化、http://item.taobao.com/item.htm?id=16833899498400套Asp.net网站程序模板 有源码cs 网站建设教程 网站制作教程http://item.taobao.com/item.htm?id=154103027363 U; Q% g3 n6 c
460多套中文网站模板PSD 网站制作 网页美工企业行业商城甘肃白癜风医院 http://www.bbb0931.com/ ' L4 G8 V5 E5 a, ^. l
item.htm?id=15410358155, _9 i9 W% a. b9 G/ f! R
280套asp网站源码带后台商城行业招聘企业|网站模版送淘宝SEO教程
: C0 U9 G* r5 d* n7 h: b' V6 m+ g" Q' L0 @( u' P* R7 P2 O0 I0 \
|
