报告来源:企业商情报告网(复制此/到地址栏可见原文)[/
' y, ?7 T. d( M y2 [0 W' T, b0 G4 b9 W g+ X4 k+ O
1 当您的网站产生新内容时,Baiduspider会通过互联网中某个指向该页面的链接进行访问和抓取,如果您没有设置任何外部链接指向网站中的新增内容,则Baiduspider是无法对其进行抓取的。对于已被抓取过的内容,搜索引擎会对抓取的页面进行记录,并依据这些页面对用户的重要程度安排不同频次的抓取更新工作。$ I3 ]; Y, g) m/ ~# w
/ y" \/ e% x$ l& n4 g; S- ?) X
* d- h6 d- N0 f, l, J' J% {* ?
- O( T1 k; L# e$ x) X* u$ ^/ G/ f
2 需您要注意的是,有一些抓取软件,为了各种目的,会伪装成Baiduspider对您的网站进行抓取,这可能是不受控制的抓取行为,严重时会影响到网站的正常运作。点此识别Baiduspider的真伪。
$ c, e- ?5 D. t) M
$ X8 V ^6 `% L0 w4 A) X* l- ~9 p4 I6 `) J( I i5 J
4 r' s* g4 P4 \5 I9 P7 y
3过滤
/ H( k2 d a: `( [5 L' [$ J
w: |9 `/ O5 r( t- ]( P) Q- h 互联网中并非所有的网页都对用户有意义,比如一些明显的欺骗用户的网页,死链接,空白内容页面等。这些网页对用户、站长和百度来说,都没有足够的价值,因此百度会自动对这些内容进行过滤,以避免为用户和您的网站带来不必要的麻烦。
$ H, L+ X1 D) c4 ?( j! g6 `3 R" Z9 x" ]4 ^* p: G; G+ B
0 a/ H8 L! o' V+ `7 `
/ P) i$ A" d& ^% A+ U4建立索引
0 W& m0 g$ E) C$ f) R
) ~& x! c% V5 L# {9 ?, E) U/ s1 o! m 百度对抓取回来的内容会逐一进行标记和识别,并将这些标记进行储存为结构化的数据,比如网页的tagtitle、metadescripiton、网页外链及描述、抓取记录。同时,也会将网页中的关键词信息进行识别和储存,以便与用户搜索的内容进行匹配。7 a5 \ s' p) x- _6 m' V( w0 U
7 X* f4 O& B k* `
8 q8 k; e. q: C& T: C$ n" y; {2 y% K Y; f
5输出结果, N. r7 M$ N2 h
: M) Z% u2 h& a" L+ x- Q 用户输入的关键词,百度会对其进行一系列复杂的分析,并根据分析的结论在索引库中寻找与之最为匹配的一系列网页,按照用户输入的关键词所体现的需求强弱和网页的优劣进行打分,并按照最终的分数进行排列,展现给用户。
|5 w4 n6 n. n8 u. n( s2 ?/ a" d; S2 r" q2 H- P- ?
原文出处:小型吊车www.jnlxjt.com |