在蜘蛛爬行的过程中,站长不希望有些文件夹被蜘蛛抓取,于是站长最基本的方法就是不让这些文件夹被连接到,殊不知这不是最安全,最安全的就是使用meta robots标签,那么如何使用meta robots标签,沈阳seo和你一探究竟。+ P5 T4 H. q5 b
meta robots标签是页面head中meta标签的一种,用于禁止蜘蛛抓取的指令。
t) P$ b& A" u" u! D; u- {格式:<meta namen=”robots” content=”noindex,nofollow”>
. u. w S2 y0 y; o9 E含义:禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。
2 X/ w9 Z+ }+ R9 x7 K9 xNOINDEX:蜘蛛不要索引本页。
1 ]3 g1 F0 V" N, b) t3 n4 X* ANOFOLLOW:蜘蛛不要跟踪本页上的链接。
; X5 X% F4 X& @* c# }. @NOSNIPPET:搜索引擎不要在搜索结果中显示说明文字。, H p; n) X& F$ B' B" T
NOARCHIVE:搜索引擎不要显示快照。 |2 r! a# i1 ^4 H: {" A
NOODP:搜索引擎不要使用开放目录中的标题和说明。
& v# V* l, J8 S: R* z这些meta robots标签的属性,并不是在百度里面都能使用,只有NOINDEX:蜘蛛不要索引本页。NOFOLLOW:蜘蛛不要跟踪本页上的链接。可以再百度搜索引擎中使用。* e- x" R3 c- g- L& |# s2 a+ A% Q
值得注意的是:使用meta robots标签,不区分大小写,( D4 x, A+ P/ q7 R; O
<meta namen=”robots” content=”noindex”>* N4 f4 S- [; W. O: W% ]0 m
这个标签虽然是告诉蜘蛛不要索引本页,但是还是可以传递权重的。
7 M& A$ o W- }, j6 l |