引蜘蛛的小技巧

       1． 网站地图要包含最重要的一些页面
% U% R9 n2 [! K+ P  ]! w　　如果网站地图包含太多链接，人们浏览的时候就会迷失。因此如果网站页面总数超过了100个的话，就需要挑选出最重要的页面。建议挑选下面这些页面放到网站地图中去：
　　1）产品分类页面
; R6 ]8 g3 n2 ]; H2 j　　2）主要产品页面
# d/ |, y5 l! d* t6 y9 h8 `! x" F: Q　　3）FAQ和帮助页面
. E! x2 o* u9 }8 M! |1 h0 U　　4）位于转化路径上的所有关键页面，访问者将从着陆页面出发，然后沿着这些页面实现转化。
& p4 j0 }3 ^2 v+ {. ?　　5）访问量最大的前10个页面
1 [( D5 F- s4 B9 g. j5 ^0 f7 E3 i　　6）如果有站内搜索引擎的话，就挑选出从该搜索引擎出发点击次数最高的那些页面
. `* k) \) w9 f- j　　2． 网站地图布局一定要简洁，所有的链接都是标准的HTML文本，并且要尽可能多的包含关键字
　　不要使用图片来做网站地图里的链接，这样蜘蛛就不能跟随了。一定要使用标准的HTML文本来做链接，链接中要包括尽可能多的目标关键字。比如：可以使用“无公害除草剂、杀虫剂和杀菌剂”来代替“我们的产品”为标题。
　　3． 尽量在站点地图上增加文本说明
　　增加文本会给蜘蛛提供更加有索引价值的内容，以及有关内容的更多线索。
! r' ?2 O7 R: h5 A　　4． 在每个页面里面放置网站地图的链接
% L/ c( v1 u' ?9 g! C; C4 ^　　用户一般会期望每个页面的底部都有一个指向网站地图的链接，你可以充分利用人们的这一习惯。如果网站有一个搜索栏的话，那么可以在这个搜索栏的附近增加一个指向网站地图的链接，甚至可以在搜索结果页面的某个固定位置放置网站地图的链接。
7 U- H1 o) H( n3 C- J　　5． 确保网站地图里的每一个链接都是正确、有效的
/ Q2 z  Q% T8 r7 U- W7 P$ R$ `　　如果在网站地图里出现的链接是坏链和死链，对搜索引擎的影响是非常不好的。如果链接比较少，你可以把所有的链接都点一遍，以确保每一个链接是有效的。如果链接比较多，可以使用一些链接检查工具来检测。
2 D2 B1 ]) b/ Q* k) f# M0 y' W　　6． 可以把sitemap写进robots.txt里
3 S6 h# y1 r2 @1 ^* R% U　　在引擎爬虫进来抓取网页的时候，会首先查看robots.txt、如果首先把sitemap写进robots.txt里那么在效率上大大提高很多，从而获得SEM的好感。
　　7．根据百虎网络的实战经历，网页能够给搜索者获得良好的体验尤为重要。

楼主说的有道理，谢谢分享！

引蜘蛛要让蜘蛛爬行的更方便顺畅

说得很实在，没有夸大其词，这种真实分享太难得了

学习到了，之前一直没注意过这个点，受教了

这个分享太实用了，刚好能用到，感谢楼主！

完全赞同，我也是这么认为的，英雄所见略同～

楼主太厉害了，整理得这么详细，必须支持

楼主辛苦了，整理这么多内容，必须点赞收藏

内容很干货，没有多余的废话，值得反复看

蹲了这么久，终于看到有价值的讨论，支持一下！

分析得很透彻，很多细节都说到点子上了～

刚好遇到类似问题，看完这个帖子心里有底了