seo优化之——搜索引擎抓取
+ ~" f1 g K x7 J
# f1 }2 e' I% b" c( F) `! t: `如果搜索引擎蜘蛛或者用户无法访问网站，那么一切SEO都是无意义的。因此在开始对网站诊断前，我们要确保用户和搜索引擎蜘蛛都能正确的对网站进行访问。$ C/ T: V4 b5 B4 l$ k& J4 \
8 R* y6 ~3 M' m/ T0 ?; B# R
Robots.txt
4 u$ v, o' ?/ i7 e z5 x% Z* `百度官方对Robots.txt的名词解释：搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
3 C- T1 _* r( ?6 k$ c1 M$ A大部分的搜索引擎都是遵循Robots.txt文件的，因此，要确保网站没有禁止主流或者目标搜索引擎的话，建议手动查看网站根目录下的robots.txt 文件， 确认不包含不应该有的禁止命令.
7 n2 y# T" f4 ^0 L) s0 k! E! D8 @% n! n( _
HTTP状态码
' m% T s8 l3 U6 g4 L. N; G如果网站返回4XX或者5XX的HTTP状态码时，用户和搜索引擎都无法访问网站，因此在使用工具爬行网站页面信息时，应该注意查看各页面返回的状态码，找出并修正错误的URL，返回404或者把页面重定向到与之相关的页面。
& z! Z1 R- E+ E! F, f/ \5 n* O" ^0 v/ o' b# V4 P
XML版网站地图
4 J/ |' w4 N: D& _: D7 fXML版本的网站地图能帮助搜索引擎快速的找到网站绝大部分页面信息，有利于提高网站在搜索引擎上的整体收录。& Z, Q+ c- l& \( P) j) |& s
在查看XML版网站地图的时候应该注意以下几点：
( \7 ^2 C6 L" k7 m) r8 A: wa, 网站地图是否格式正确，是否遵守了sitemap协议。
* w5 j2 I, [1 J6 db, 是否有提交网站地图到谷歌/必应管理员工具。
; J2 ~9 _4 ?5 |0 X r$ a Jc, 网站地图里面的链接内容是否为最新版（实时更新）
' U/ D) r2 s1 p1 V" [$ g' ~d, 网站地图的链接与抓取工具抓出来的链接数据是否匹配，是否仍有页面在网站中但是缺乏至少一个内链的支持。8 g5 Q" T% r9 T5 F, j0 ~
3 @7 W( G# D; q: b+ j4 |) r
网站架构( q: x* `9 n9 f2 D
良好的网站架构有利于搜索引擎蜘蛛快速的抓取重点页面及其他页面内容。因此在评估网站结构的时候，应该注意分析用户需要通过几次点击才能从首页到达重要页面。同时也要注意各页面之间的层级联系，优先确保重点页面处于较浅的层级以及获得较多的内部支持。理想状态下，扁平树状的网站结构有利于网站横向与纵向的拓展。
& U8 T2 b; e7 y+ |9 D! L
9 t; T2 K$ d/ u1 H$ \$ C9 l9 N使用Flash或JS的导航
% Z" S% Q# e& Q4 Z, k0 b良好的网站架构在一定程度上可能被使用了flash或JS技术的导航破坏。虽然搜索引擎的技术在不断的提升，把重要的内容或者链接放置在flash或者JS里，仍然是不明智的选择。6 O0 p# L1 U4 d
如何评估是否使用JS技术？非常简单的两步，开启和关闭JS功能（使用chrome或者火狐就可以直接完成）。通过对比网站在以上两种状态下的链接情况，可以清晰的看出哪些重点链接使用了JS技术。: L2 }) W0 C0 M }8 X
) }& q0 w5 u% Y, o5 T
网页加载速度
6 r6 [6 h! B. m* y/ G, y+ H& k9 ~. p用户的耐心是有限的，如果打开一个网页需要一分钟甚至更长的时间，用户极有可能在打开过程中离开网站，从而造成网站用户的流失。同样，搜索引擎分配给一个网站的资源以及其在网站停留的时间也是有限的，网页加载速度越快越能充分利用搜索引擎资源。8 J- \% ?7 l6 e1 J! `7 u6 f* V
$ ^3 [3 E8 A4 O1 X- e( @本文由电脑主题下载 www.wm300.com推荐，转载请注明来源于出处。 |
