如何和爬虫对话 从通用爬虫的定义说出去

让我对“如何和爬虫对话 ”这个课题有了一些思考，下面归纳的主要用于迎合上面提到的爬虫“抓取策略”。
1、通过 robots.txt 和爬虫对话：搜索引擎发现一个新站，原则上第一个访问的就是 robots.txt 文件，可以通过 allow/disallow 语法告诉搜索引擎那些文件目录可以被抓取和不可以被抓取。
" f" K: v  y  R关于 robots.txt 的详细介绍：about /robots.txt
; V' e/ t( |$ [+ @% Z8 C/ }另外需要注意的是：allow/disallow 语法的顺序是有区别的
( h' U* H% `  O5 b2、通过 meta tag 和爬虫对话：比如有的时候我们希望网站列表页不被搜索引擎收录但是又希望搜索引擎抓取，那么可以通过 ＜meta name=”robots” content=”noindex,follow”＞ 告诉爬虫，其他常见的还有 noarchive，nosnippet，noodp 等。
. C( H$ M5 r0 n# ?% E关于 meta tag 的更多介绍：Metadata Elements
. O6 j5 [( F8 t# o3、通过 rel=”nofollow” 和爬虫对话：关于 rel=”nofollow” 最近国平写了一篇文章《如何用好 nofollow》很值得一读，相信读完之后你会有很大的启发。www.labtt.com
4、通过 rel=”canonical” 和爬虫对话：关于 rel=”canonical” 谷歌网站站长工具帮助有很详细的介绍：深入了解 rel=”canonical”
! U+ t* w/ F! B* E7 ~# P5、通过网站地图和爬虫对话：比较常见的是 xml 格式 sitemap 和 html 格式 sitemap，xml 格式 sitemap 可以分割处理或者压缩压缩，另外，sitemap 的地址可以写入到 robots.txt 文件。
6、通过网站管理员工具和搜索引擎对话：我们接触最多的就是谷歌网站管理员工具，可以设定 googlebot 抓取的频率，屏蔽不想被抓取的链接，控制 sitelinks 等，另外，Bing 和 Yahoo 也都有管理员工具，百度有一个百度站长平台，内测一年多了仍旧在内测，没有邀请码无法注册。
另外，这里面还衍生出一个概念，就是我一直比较重视的网站收录比，所谓网站收录比=网站在搜索引擎的收录数/网站真实数据量，网站收录比越高，说明搜索引擎对网站的抓取越顺利。www.labtt.com
$ G& Z# i5 {6 d. A; k暂时就想到这些，目的在于尝试性的探讨如何更有效的提高网站在搜索引擎的收录量。
+ y* b4 y7 A, S4 ?$ B6 Z权当抛砖引玉，欢迎各位补充！
备注：
% K! o6 s- ^  h! |. j, i网络爬虫（web crawler）又称为网络蜘蛛（web spider）是一段计算机程序，它从互联网上按照一定的逻辑和算法抓取和下载互联网的网页,是搜索引擎的一个重要组成部分。
原文摘入www.labtt.com转载说明出处
" r- ~* V+ I/ H; a0 x0 D% ?, S6 \

坐着看。。。。。太多了

这个分享太实用了，刚好能用到，感谢楼主！