谈蜘蛛的爬行规律和网站的设计有关：对于网站建设代码的设计框架的布局等，对于蜘蛛来说很重要，就像人走路一样，如果想穿过这条路到达另一条路，如果是个死胡同那走的人就很少了，如果说路的岔口多，还能到达另外一条路，像这样路又宽，又平，岔口多的那么自然走的人就多了，网站也同样，死链接，打不开的页面最好不要存在，不然蜘蛛爬行不过去，自然就来的少了。在这之间当然少不了网站优化，多添加内容做好内链接，非常重要，影响蜘蛛爬行的时间和你更新的文章是否能被蜘蛛爬行到。/ v$ u2 c* x+ Q# R: U! C
- k6 Y9 ~# `( u 搜索引擎蜘蛛能不能找到网页的呢？要让搜索引擎发现网站的首页，就必须要有外部链接到首页，找到首页后，蜘蛛沿着内部链接找到更深的内容页，所以经常要求网站要有良好的结构，符合逻辑，并且所有页面可以通过爬行的链接达到，如果蜘蛛不能爬行的话就很有可能造成对有收录的影响，良好的网站链接结构可以适当传递权重，是尽量多的页面达到收录的门栏。 ; }; ~" I3 K& g2 `6 L: w* M, z9 n' V7 D
抓取页面后怎样提炼有用的信息呢？关键词在页面重要的位置的合理分布、重要标签、代码精简，只有搜索引擎能够顺利找到所有的页面，抓取这些页面并提取其中真正有相关性的内容，网站才可以被视为搜搜引擎友好的。搜索引擎友好很重要的，能够做好搜索引擎友好的网站不是每个网站都可以做到的，尤其是一些中小企业的网站。 - l+ F% o7 x& Y( Y Y
