一般来说，尽量让搜索引擎抓取和索引更多内容是SEO们经常头疼的一个问题，没有收录、索引就无从谈排名。尤其对达到一定规模的网站来说，使网站充分收录是个颇令人费神的SEO技术，当页面达到比如说几十万，无论网站架构怎么设计、多么优化，100%收录都是不可能的，只能尽量提高收录率。
* g6 q, R7 A" \. u W4 H/ o
( w* o( X: Y7 t( F+ T1 m但有时候怎么阻止搜索引擎收录也可能成为一个问题，最近越来越成为问题。需要阻止收录的情况如保密信息、复制内容、广告链接等。过去常用的阻止收录方法包括密码保护、把内容放在表格后面、使用JS/Ajax、使用Flash等。今天看到Google网管博客一篇文章，这些方法都不保险。
) g9 c1 |; L- s3 E$ a5 S, E! K$ d( i
( Q- A* ~0 {; p使用Flash& o* e1 [2 O' d7 @
1 b) W, H/ C7 x/ n4 O/ L6 F+ F) F
Google几年前就开始尝试抓取Flash内容了，简单文字性内容已经能抓取。Flash里面的链接也能被跟踪。
. T3 w% S$ \7 H5 _/ t) j0 w. M. }4 E- S; q: w1 t# J `1 \+ U2 j
表格! o" G) I- E' N! F: {" P# e- e
0 R0 l9 O6 [9 @1 Z# B K8 h: sGoogle蜘蛛也能填表，也能抓取POST请求页面。这个早就能从日志中看到。
' [+ `! c8 g! u1 C, ^ U# v" ~$ G; v3 j" s% J* P
JS/Ajax
9 b! a6 T# _( I, L+ Y7 @# p! V# J( ?$ h2 s' o9 [' m
使用JS链接一直以来被当作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但两三年前我就看到JS链接不能阻止Google蜘蛛抓取，不仅JS中出现的URL会被爬，简单的JS还能被执行找到更多URL。+ I3 E2 k, x+ O% |5 n; R
5 l. q" \. e1 N% F( z8 S
前几天有人发现很多网站使用的Facebook评论插件里的评论被爬、被收录，插件本身是个AJAX。这是个好消息。我的一个实验电子商务网站产品评论-功能就因为这个费了不少心思，用Facebook comments插件好处大大的，具体什么好处以后有时间再说，唯一的问题就是评论是AJAX实现的，不能被抓取，而产品评论被收录是目的之一（产生原创内容）。我当时想了半天也没有解决方法，只好先傻傻地既放上Facebook comments插件又打开购物车本身的评论-功能。现在好了，Facebook comments里的评论能被收录，就不用两套评论-功能了。
, F b/ G0 g* X) f' p0 U) Y
; ?. e: g: Z s# uRobots文件
% Q, O% u" g- z, E% Z2 g! t' K9 ^: c% S" ^+ y0 N w3 c: W
目前唯一确保内容不被收录的方法是robots文件禁止。但也有个坏处，会流失权重，虽然内容是不能收录了，但页面成了只接受链接权重、不流出权重的无底洞。2 b& E8 I3 R+ t; }4 `' g8 _0 I; m
6 \% k6 x! b! g' p3 z2 r) h3 R
Nofollow+ o( Q9 P2 _, |3 L
s! p6 t: Y% _$ L- o! t( N0 Q+ n J' PNofollow并不能保证不被收录。就算自己网站所有指向页面的链接都加了NF，也不能保证别人网站不给这个页面弄个链接，搜索引擎还是能发现这个页面。
/ h. q P }3 ^) j/ x# H+ ?
" w- S5 P7 `' n# O4 C+ IMeta Noindex + Follow! U. l1 ~6 j! q* c
2 x3 `- I7 D- J2 l2 |5 a
（11月3日补充）读者no1se提醒，为防止收录又能传递权重，可以在页面上使用meta noindex和 meta follow，这样页面不收录，但能流出权重。确实如此，也是个比较好的方法。也有一个问题，还是会浪费蜘蛛爬行时间。哪位读者有能防止收录、又没有权重流失、又不浪费爬行时间的方法，请留言，对SEO界功德无量。' l5 ]7 m; m# _& V& i' { W, U0 P
8 J0 |" q" Y: Y/ ^9 Y( ~! T
怎样使页面不被收录是个值得思考的问题，没意识到严重性的童鞋可以想想自己网站上有多少复制内容、低质量内容、各种无搜索价值（但用户觉得方便、有用所以又不能拿掉）的分类、过滤URL。
7 e6 E" f7 j4 v7 p/ H- }2 G. x; D% M2 Y$ [' }! P& m3 V
|
