一般来说，尽量让搜索引擎抓取和索引更多内容是SEO们经常头疼的一个问题，没有收录、索引就无从谈排名。尤其对达到一定规模的网站来说，使网站充分收录是个颇令人费神的SEO技术，当页面达到比如说几十万，无论网站架构怎么设计、多么优化，100%收录都是不可能的，只能尽量提高收录率。
! T" x5 s, N5 ~ ]! O9 V$ @9 D4 D. i* B6 x
但有时候怎么阻止搜索引擎收录也可能成为一个问题，最近越来越成为问题。需要阻止收录的情况如保密信息、复制内容、广告链接等。过去常用的阻止收录方法包括密码保护、把内容放在表格后面、使用JS/Ajax、使用Flash等。今天看到Google网管博客一篇文章，这些方法都不保险。. C. J: ^; U. \- M: l$ h
- f6 C9 G* \% b& O- w
使用Flash% ^6 y1 K7 d9 o; j: |
( S/ `) [; R$ O" j- o( t
Google几年前就开始尝试抓取Flash内容了，简单文字性内容已经能抓取。Flash里面的链接也能被跟踪。7 ?/ m* V: F! d" x! }
( ?1 W( R4 P9 s; h
表格
7 Y- m2 V: [6 u4 Y: f- |$ A2 _
* o& I0 p& j! n- W2 qGoogle蜘蛛也能填表，也能抓取POST请求页面。这个早就能从日志中看到。
4 S# }& l$ t2 x% S9 A( f5 n0 k( X
JS/Ajax3 y4 x! K* v: n' W# j1 @
& y( o3 u4 B' \+ z使用JS链接一直以来被当作不搜索引擎友好的方法，因此可以阻止蜘蛛爬行，但两三年前我就看到JS链接不能阻止Google蜘蛛抓取，不仅JS中出现的URL会被爬，简单的JS还能被执行找到更多URL。7 R7 M S; ]' h. `9 f6 _
5 h3 V. g( A0 F2 N! i# q前几天有人发现很多网站使用的Facebook评论插件里的评论被爬、被收录，插件本身是个AJAX。这是个好消息。我的一个实验电子商务网站产品评论-功能就因为这个费了不少心思，用Facebook comments插件好处大大的，具体什么好处以后有时间再说，唯一的问题就是评论是AJAX实现的，不能被抓取，而产品评论被收录是目的之一（产生原创内容）。我当时想了半天也没有解决方法，只好先傻傻地既放上Facebook comments插件又打开购物车本身的评论-功能。现在好了，Facebook comments里的评论能被收录，就不用两套评论-功能了。/ c; h+ {6 Z# H' r- {. U: G
2 [9 B8 s3 Y/ x8 h
Robots文件( H% ` E( @% V0 X
9 R' S6 I8 O. f, N
目前唯一确保内容不被收录的方法是robots文件禁止。但也有个坏处，会流失权重，虽然内容是不能收录了，但页面成了只接受链接权重、不流出权重的无底洞。7 B0 D* t& I$ [6 U1 V; z2 X& t
6 N2 I* C9 k6 FNofollow9 \* V1 o$ M" f8 d/ s0 H
/ _' W& p0 j3 m( M; N" M$ M
Nofollow并不能保证不被收录。就算自己网站所有指向页面的链接都加了NF，也不能保证别人网站不给这个页面弄个链接，搜索引擎还是能发现这个页面。
& Y' D; [( ~5 h, H4 J" n
O9 D6 v: E# }Meta Noindex + Follow* B- `- R; u, y. {
: X5 e) G; p6 a! M* ]$ L$ {" U
（11月3日补充）读者no1se提醒，为防止收录又能传递权重，可以在页面上使用meta noindex和 meta follow，这样页面不收录，但能流出权重。确实如此，也是个比较好的方法。也有一个问题，还是会浪费蜘蛛爬行时间。哪位读者有能防止收录、又没有权重流失、又不浪费爬行时间的方法，请留言，对SEO界功德无量。* d, d/ c3 k) s! A7 X
4 i& q! ~$ F: j+ ?6 ]+ @3 i* P, T. y
怎样使页面不被收录是个值得思考的问题，没意识到严重性的童鞋可以想想自己网站上有多少复制内容、低质量内容、各种无搜索价值（但用户觉得方便、有用所以又不能拿掉）的分类、过滤URL。
* L5 ^) O4 m4 p/ ?/ y$ p. Q3 d2 s" ]2 I9 D! b
|
