搜索引擎派出他们的搜索机器人去访问、索引网站内容，网站管理员也默认、欢迎它们& J2 [9 @+ l: q( f
来访。但是由于搜索引擎派机器人来访会在一定程度上影响网站性能，因此并非所有的机器
5 e7 F$ a( t. h& T, _; q' c. [8 c人都是无害的，有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历，并且不遵循: ^- W$ p3 D5 }* Z$ b$ R
robots.txt规范，会严重拖垮网站性能而又无其它益处。因此，网站管理员需要验证每个机器
$ n4 j; E" Z) {. q# r F4 z9 }人身份是否合法。 - {+ _: T& D t- j+ s
在你的服务器日志文件中，可见每次访问的路径和相应的IP地址，如果是机器人来访，8 B, U% ^+ [2 v$ S/ t
则user-agent会显示Googlebot或MSNBot等搜索引擎漫游器名称，每个搜索引擎都有自己
6 z' Q5 t# C4 a: f/ c8 `. W的user-agent，但仅有这个还不足以证明这个机器人的合法性，因为很多垃圾制造者可能将
$ A6 ?: P3 T1 r0 C q1 }他们的机器人也命名为Googlebot，以伪装蒙混进入网站，大肆采掘内容。
- _3 y0 _; ]. a. [ 目前，主流搜索引擎都建议网站管理员通过这种方式来辨别真实的机器人身份：通过
; k7 {9 i$ g4 d) @) G) w/ E7 xDNS反向查询找出搜索引擎机器人IP地址对应的主机名称；用主机名查找IP地址以确认该
) W2 u0 g S7 c, m9 k; L! P4 U主机名与IP地址匹配。
% K* r V* K6 h0 S% _7 S 首先，使用DNS反向查询（Reverse DNS Lookup），找出机器人IP地址对应的主机名% F8 _/ j- Q6 h& u9 b4 q- u
称。主流搜索引擎的主机名称通常情况下应是这样的： % F. v' [) W) K# P
Google：主机名称应包含于googlebot.com域名中，如：
7 u5 D2 L, S- \+ Ecrawl-66-249-66-1.googlebot.com； % H5 |1 [8 T4 C3 D0 h& [% }
MSN：主机名称应包含于search.live.com域名中，如：
; N: d$ B8 Y& C1 ]5 @$ Hlivebot-207-46-98-149.search.live.com； 7 ~# \+ F" f* J9 q" {! i6 U' u' E
Yahoo：主机名称应包含于inktomisearch.com域名中，如：ab1164.inktomisearch.com。
7 Q4 |' b6 Z* D9 o W; o& d 最后，做一次DNS查询，用主机名查找IP地址（Forward DNS Lookup），以确认该主% g9 x# T2 S6 O5 z9 Q* ^3 W# T
机名与IP地址匹配。由此证明该机器人是合法的。 0 i8 w7 L+ j% t1 _! ]1 H2 B
现在，如果发现一个机器人将自己伪装成合法搜索引擎漫游器，你就可以通过服务器上
! N0 ~/ C5 N. y8 t的设置来阻止这个非法机器人。! j& @8 y" [* o4 S
超链分析的基本原理是:在某次搜索的所有结果中，被其他网页用超链指向得越多的网
% \1 Q$ \ t" w页，其价值就越高，就越应该在结果排序中排到前面。 : ? E( i) M6 o- c" E: m
超链分析是一种引用投票机制，对于静态网页或者网站主页，它具有一定的合理性，因- k- N/ G6 j8 q+ K
为这样的网页容易根据其在互联网上受到的评价产生不同的超链指向量，超链分析的结果可# y0 O+ o V$ x' ?3 N% x$ I7 _ `
以反映网页的重要程度，从而给用户提供更重要、更有价值的搜索结果。
+ N/ X3 K1 e7 M2 y( \+ L- n 搜索引擎，并不能真正理解网页上的内容，它只能机械地匹配网页上的文字。它收集了3 d7 ^$ N9 X, L' i
互联网上几千万到几十亿个网页并对网页中的每一个文字（即关键词）进行索引，建立索引
; a& e1 x p! U$ b0 h' _0 y数据库的全文搜索引擎。当用户查找某个关键词的时候，所有在页面内容中包含了该关键词- T5 ?0 k0 t, O8 e, W$ i* }
的网页都将作为搜索结果被搜出来。在经过复杂的算法进行排序后，这些结果将按照与搜索
" v! o: y! u T p1 ?关键词的相关度高低，依次排列。
9 m5 q6 @1 P' Y L 搜索引擎在查询时主要根据一个站点的内容与查询词的关联程度进行排序。对于一个站( k& ~5 {' z/ k3 Y5 k8 D1 K" W. G
点的内容搜索引擎则是根据标题、关键词、描述、页面开始部分的内容以及这些内容本身之 V/ B+ i7 n& l' v& r* w2 Z0 p
间的关联程度以及一个站点在整个网络上的关联程度来确定的。曾几何时我告诉自己：旋木你是来自天津seo世界的小可爱，可惜了，旋木感冒了，我要好好学习天津seo，做一名天津seo的三好生我爱天津卫：http://www.xuanmuseo.com/
; C' I- c7 E' A4 Y, { 7 o+ V# k2 ]7 _0 a
|
