|
+ i" w" l+ i4 v$ T" O
最近一直在看SEO相关的资料，我很好奇的是像百度蜘蛛是怎样抓取一个网站内容的？在网上找了一圈发现都是从百度搜索学院里面copy出来的那几篇文章： 
( t0 b4 c; [' c3 S 搜索引擎抓取系统概述（一）搜索引擎抓取系统概述（二） 搜索引擎检索系统概述百度spider介绍 如何识别Baiduspider只需两步，正确识别百度蜘蛛 在网上看得最多的一句总结就是：百度蜘蛛第一、爬取，第二、存储，第三、预处理，第四、建立索引，第五、排名。 $ [1 @1 F2 r; S
这种描述没啥大的问题但也没啥卵用我就想知道百度蜘蛛来到我的网站上它是怎么爬取内容，爬取的先后顺序，爬取的频率？第一、网页蜘蛛怎样才能到我的网站上来； 关于这个问题的讨论网上也有很多，总结概括一下就是：1、指向自己网站的外链；2、去站长平台提交网站上的url；3、sitemap文件和网站首页的链接。
* Q1 \* s2 v) T' g# U 第1和第2点网上有很多相关的描述和做法指引，没必要再去重复我想聊聊我对第3点的一点认识，首先一定要给自己的站点建立一个sitemap文件，并且这个文件一定要放在网站根目录下面，一定要可以正常访问，无权限控制。 + X0 ?( a: l9 ?' ^0 ?1 m
具体的文件建立可以参考各个搜索引擎的指引（eg:百度sitemap文件）还要注意这个文件上的url和更新评率，我拿我自己的部分文件说明一下： {+ y2 T9 o6 t
3 Y5 J5 F9 n% V9 u! w8 @' G5 W
- I8 O' N# x4 S% ^+ x: v
$ [' I9 ^, ?& \: l+ K0 s8 i9 o; }/ z
https://www.onekbit.com/adminUserAction/toIndex.do# P% g/ _8 y' E# s8 R4 }
2018-12-23+ t* A6 ~/ J# H% d R; u: }
weekly A) v8 b3 }3 V' }$ t7 ~ t$ ~
1.0/ F: W4 ^5 J: T$ h& n$ A, v
+ n) X' _- B4 d9 W# S; ]
. L% N0 ~; m7 P$ V https://www.onekbit.com/FrontPages/systemMgt/aboutus.jsp
7 m4 [0 l' X' l, v 2018-12-23, \9 Z( F1 J8 F( p6 Q+ ?
weekly$ T$ Z! X% } P B# U* l( f5 Y
0.8
3 d/ E& M h; F1 b
_4 O: V+ t: X) Z5 h
% r5 K0 o# u5 R+ d https://www.onekbit.com/ViewBlog/toBlogIndex.do& k0 |# p2 I d# B @) G0 a5 O
2018-12-23- S$ D5 O4 v3 N3 D+ `7 w
hourly. _1 a7 P, W4 ^# | ~5 g7 ~
1.0
2 ^2 ?" J9 t% O$ K/ k5 v3 {# Z* ~4 n- M+ f2 k: n/ N$ A5 E; |, X
' O9 D" O/ z) p; k+ g$ z! A8 T https://www.onekbit.com/ViewBlog/blog/BID20181223100027
: a# w5 x U: J9 t& f, z/ N 2018-12-23# f! q: G( u/ R {
hourly; o1 v1 V X ^" Z
1.0; r8 H4 t) B5 h: z( f
$ p6 B& O7 I* u
' x7 p% {; _9 X5 |* L @
# e" d4 l: [% A2 } 这里挑选了几个有代表性的url展示一下，我最开始的url很长并且还带有很多参数，放到xml文件中还会报错，后面全部优化成这种简单连接每天坚持多写一些有实际价值的原创文章频繁更新这个文件 关于这个文件的更新还需要多注意观察一下你网站上百度访问日志：。
4 Q: j* w7 z) H4 x' u# j: N 123.125.71.38 - - [23/Dec/2018:21:18:36 +0800] "GET /Sitemap.xml HTTP/1.1" 304 3673% D+ J) P( [1 @+ w1 d5 V2 v7 u
这是百度蜘蛛在我网站上的一行访问日志，注意其中的304代码就表示：304 未修改 — 未按预期修改文档。
9 w! l: C# j$ ?8 A. {8 i* d% [ 如果每天过来得到的都是304那么对蜘蛛而言反正你也没啥信息可取来不来都一样，它的抓取评率自然就会越来越低，最后也就不来了所以一定要定时定量更新网站原创让蜘蛛每次都可以抓取到信息回去，这样蜘蛛才会来得频繁。
, `, O8 |- J4 L" b# ?/ X$ { 最后一个小点就是网站内部链接一定要四通八达，让蜘蛛获得更多指向你网站的链接回去第二、网页蜘蛛来到网站上爬取的先后顺序 网页蜘蛛来到一个网站目录下第一个访问的文件应该是robots.txt,正常的情况下应该是看这个文件有还是没有，没有就表示整个网站都可以抓取，有就要看文件中的具体限制来抓取，这是正常搜索引擎的一个规定。 + I; i' y) l; `, F" k% t+ P& e
至于访问完robots.txt后第二个应该访问的是首页还是sitemap的文件这个网上说法有点争议，但是我倾向相信第二访问sitemap文件，我以我网站上一段蜘蛛访问日志来侧面证明一下：66.249.64.136 - - [22/Dec/2018:04:10:05 +0800] "GET /robots.txt HTTP/1.1" 404 793" S! r; \3 q. }( O
66.249.64.140 - - [22/Dec/2018:04:10:06 +0800] "GET /Sitemap.xml HTTP/1.1" 200 3253
! ?* @2 [1 N. o" I' V4 v, Y9 U 66.249.64.136 - - [22/Dec/2018:04:10:38 +0800] "GET /ViewBlog/blog/BID20181204100011 HTTP/1.1" 200 4331
- A+ K/ y% a; n: K 66.249.64.136 - - [22/Dec/2018:04:10:48 +0800] "GET /ViewBlog/blog/BID20181210100016 HTTP/1.1" 200 4258
& F6 {+ C3 Y5 x q0 O, x9 A 66.249.64.138 - - [22/Dec/2018:04:11:02 +0800] "GET /ViewBlog/blog/BID20181213100019 HTTP/1.1" 200 3696; P/ H! k' O* }2 R8 x
66.249.64.138 - - [22/Dec/2018:04:11:39 +0800] "GET /ViewBlog/blog/BID20181207100014 HTTP/1.1" 200 35955 j. Y- U$ D8 P8 E7 S
66.249.64.140 - - [22/Dec/2018:04:12:02 +0800] "GET /ViewBlog/blog/BID20181203100010 HTTP/1.1" 200 26710
+ d" u2 l- C2 n# N/ [( ^ 66.249.64.138 - - [22/Dec/2018:04:15:14 +0800] "GET /adminUserAction/toIndex.do HTTP/1.1" 200 32040, E- R0 F0 T: K: @( P- Q! G
8 `1 q; o3 p; z0 ?
我使用nslookup 66.249.64.136这个IP：  4 @5 i" ^& f- ^) J5 n5 B/ m- @' g$ b; E
nslookup命令结果从日志来看第一访问的是robots.txt文件，第二是sitemap文件，第三是这个sitemap上新增有改动的url，第四好像是经过一下首页从蜘蛛的IP来观察我猜测是一类专门用来获取网页链接，另外一类专门用来抓取网页内容。
/ |! {! \% _0 L* Y 百度站长里面有一张图是描述百度蜘蛛的工作流程： 
8 o6 v8 d7 H3 O% [ 这个也可以看出先获得url后读取内容第三、网页蜘蛛对一个网站的爬取频率 其实上面已经提到了网页蜘蛛对网站爬取频率相关的因素，我感觉最重要的还是定时定量更新自己网站上的原创内容，提供网站主题相关信息质量，其次是多做一些导入链接的工作。
! _) k k. N3 {; K6 e6 I' f8 ? onekbit私人导航整理发布 , q8 J/ `) |; G
6 L8 w8 @5 @( V# a7 p# p/ G5 ~8 u8 P! U. ^3 a' e
+ q$ H8 o0 L# z/ _0 U1 g7 {: K4 S6 C
. X/ R5 k3 T" I9 |9 Z4 N: Q | 
