|
1、分析搜索引擎的抓取日志
5 G8 F; r' `. S' P- t8 Y& K( _. Q当我们的网页被收录之前，首先是需要搜索引擎来爬行、抓取的，当搜索引擎抓取到你的页面后，而且它觉得你的文章质量符合它的收录标准的时候，它就会把你的网页收录进它的索引库、然后经过处理给予你的网页相应的关键词的排名，而分析日志，可以清楚的知道我们哪些页面被抓取了，哪些页面没有被抓取，例如创意网络http://www.cyeee.cc 的每个目录的抓取情况，这样我们可以采取相应的措施来促进搜索引擎的收录。
2 ^* [! ~7 m- x, _$ T2、在首页多展示未被抓取的网页的URL& `4 Q' P4 v% |) k% {
在上一步骤，我们已经把未抓取的URL列表提取出来了，然后我们可以把这些URL在首页展示，以增加被搜索引擎抓取的机会，许多网站至所以在首页有最新文章版块、随机展示版块，其实也大都是为了增加被搜索引擎抓取的机会从而增加网站页面的收录，首页的权重是一个网站中最高的URL页面，往往也是蜘蛛最活跃的页面，所以在首页展示往往可以增加收录。+ \) |9 ~1 N4 k: v
3、利用robots.txt文件以及nofollow、noindex标签协助搜索引擎收录8 @1 ]3 T. k! L3 P
读过搜索引擎原理书的人都知道，对于搜索引擎来说，它的资源是有限的，每天搜索引擎只能抓取互联网中网页的一部分，而在这抓取的网页中，收录也只是一部分，所以搜索引擎的资源很稀缺，在这种情况下，我们要把我们最重要页面的URL给尽量的展示给搜索引擎，而对于一些没有收录价值的页面，可以阻止其收录、或者阻止其跟踪，在这里robots文件与nofollow就派上用场了，例如一些没有收录意义的联系我们、企业招聘、登录、注册等这些链接，我们可以直接用nofollow阻止搜索引擎去跟踪，对于一些目录例如网站的模板目录、网站中一些动态URL，我们可以使用robots直接阻止搜索引擎收录，而且我们还可以把noindex属性加到页面的head部分阻止搜索引擎收录，当我们把这些所谓的无意义页页都阻止抓取以后，搜索蜘蛛就会在我们网站抓取更多有意义的页面，从而增加我们的有效收录。# O5 a* n8 i$ g0 ~% o! B0 G
4、多发一些网站列表页URL的外链8 h2 U6 B I5 |3 p
在SOSO的官方SEO指南中，曾经提到过这一点，也就是说我们可以专注于我们的列表页，可以给一些列表页多发一些外链，因为列表页里边的有效URL比较多，当搜索引擎蜘蛛抓取到列表页后，就会抓取列表页中的产品URL，从而增加我们的收录。( R7 @ X3 u5 q) M1 p; D
5、灵活调整搜索引擎的抓取频率 `; l4 w1 N. T. Q, g$ y9 ?9 u: P
在谷歌网站管理员工具中，其中有一项就是我们可以根据自己网站的情况，调整搜索引擎的抓取频率，在默认的情况下，谷歌是按照你的网站的服务器承认情况，来调整它的抓取频率的，它的原则就是在你服务器能够承受的情况下、尽可能多的去抓取。因此，如果我们想提高它的抓取频率，我们可以在这谷歌网站管理同工具里边进行调整，当然这个只能是针对谷歌的。 | 
