1、使用文本浏览器来检查你的网页，看网页中重要的URL链接是否能够被文本浏览器抓取得到5 H8 V: m! s( u
O4 Y( J1 e: [6 V6 c
4 T5 R$ d5 t' r% H( f4 @. O1 N7 o
常用的文本浏览器是lynx，大家可以在linux环境下安装它，它在浏览器你的网页时，几乎与搜索引擎蜘蛛看到的内容一致，所以大家常常使用它来测试网页的可抓取性，如果你的页面中重要的链接使用了JS、AJAX等技术，lynx浏览器是看不到这些链接的，同样的搜索引擎也抓取不到这些链接。因此在网站上线前，可以先用文本浏览器检查一下主要的网页，看是否用了对搜索引擎不友好的技术5 t! J8 B6 O. J6 p5 z* Z5 ~* N
& ]5 _0 @; {: C6 x
; X* b2 a+ @7 c4 ?; r! i9 z 2、允许搜索引擎蜘蛛在不使用可跟踪其网站访问路径的会话 ID 或参数的情况下抓取您的网站3 t( r7 C8 g% W, ]1 Y, S( f; P
/ |- @" S5 v7 Y/ j9 H: f
- k; h' i( o- X2 Q) `4 R2 k% q 一些session id对于跟踪用户的访问行为来说是很有效的，但是对于搜索引擎来说，就不是好的作法了，如果使用了这些技术，你的网页可能被索引得不完整，因为搜索引擎程序还不能排除那一些从URL上看上来不同，但是网页内容却完全相同的网页。对于收录是不友好的。
1 q7 n8 |+ d! W7 |2 d4 f! p4 y, @: x
* V% X7 f1 [, L/ @8 U! l, z& G4 Y3 c) t% P
3、确保您的网络服务器支持 If-Modified-Since HTTP 标头
( a( `8 g, R/ n6 h8 a
6 `2 g- _0 Z6 |& C
$ z, I7 R; _6 E5 a# V- [% @ 如果你的服务器支持if-modified-since-HTTP标头的话，当搜索引擎蜘蛛程序抓取到你的网页的时候，会首先检查这个If-Modified-Since HTTP 标头值，通过这个值，搜索引擎爬虫程序可以判断出来你的网页自从它上次抓取后，是否有所变化，如果没有变化，它便可以不用下载相同的页面内容，节约蜘蛛资源，也节约你的服务器带宽，这样蜘蛛就可以抓取更多其他的页面。
, F' r5 O( b; \4 I. I* l2 e {+ X6 X! _
; l. ?6 s. G9 D/ L$ H4 u. _5 d
4、设置合理的robots文件
- f- l5 J7 x' v- R3 y+ y6 \# V
/ k% j+ J8 j1 k" U$ ]7 g
3 g. }4 `% G7 T% h 每个网站最好都设置一个robots文件，如果你的网站没有任何内容不想被搜索引擎索引，那么可以建立一个空的以robots为命名的文件，上传到你网站的根目录下，通过robots文件，我们可以让搜索引擎抓取某些目录，而不抓取某些目录，例如一些模板文件，可以禁止搜索引擎抓取，一些后台登录文件，也可以利用robots文件加以禁止收录，在设置robots文件时，一定要小心，以避免把一些重要的文件给禁止了，我们可以使用谷歌网站管理员工具进行测试。
5 }4 }0 |# {& Z/ e' \4 a' \; b U# S4 \% y
7 `2 R* e2 ]9 W* A6 a) A- P! ]
5、对网站进行兼容性测试，以确保在每个浏览器中都可以正确显示
3 t% y; q& w$ Z7 s) O
2 r, _8 T, F- g# K6 X* Q/ M4 Y0 ~* x9 s( V: R/ }
我们在网站上线前，最好先做大量的浏览试验，确保网页内容可以正确的显示在所有的浏览器上边，例如IE的有一个IE工具测试，可以测试各个IE版本的显示效果，谷歌浏览器也有类似的插件，可以对浏览器的兼容性进行测试，等检测完都能正常显示时，再上线，在平时的维护中，也可以经常去测试页面显示的兼容性
8 y9 \+ {+ T2 h; Z4 j$ M. T( E! z9 G. J
, R9 L2 U# f# d( ?0 Y3 B1 s& c
6、经常使用一些前端测试工具来测试网页的性能- V( x9 x2 D1 \; e0 T/ i
9 F% f! W! K# k9 o, U' L7 l
% @5 ?+ c5 K& z. C( U7 a+ | 例如我们可以使用谷歌的page speed工具以及yahoo的yslow对网页进行性能的测试，这两个工具还可以指出你的网站中页面需要改进的地方，我们可以按照里边描述的步骤进行前端页面优化，例如启用GZIP、启用keep-alive、使用css sprites技术、合并JS与CSS等。$ a7 f. A4 n- P3 h. L" C
* ^# b7 I, P, ]8 q
|
