凯迪拉克 发表于 2012-05-21 09:52:20

SEO数据化。

我们大部分的SEO是为了分析而分析,这样的话根本不知道分析出来后改做什么。我们要把数据分析的很细,这样的话从中找出问题的话,进行解决。尤其是爬虫的数据,像抓取饱和度、抓取深度、常见入口页面、每天到访次数、停留时间等,这些开发爬虫的工程师都在关注,我们SEO又有何理由不关注呢?在搜索引擎爬虫单位时间内抓取量是一定的,这个量的多少是由网站本身权重来决定的。网站权重高,抓取量就大,网站权重低抓取量就比较少。如果在一个权重比较低的网站,页面也比较多的话,搜索引擎爬虫也不敢确定你网页的质量,如果它拼命的爬取的话,就会出现抓取错误,抓不到更好的页面了。

  爬虫抓取你网站的量是一定的,如果它在抓取很多没有用的页面的话,那么抓取有用的页面就会很少了,所以我们需要分析日志,分析爬虫抓取来进行调整。比如,夜息有一个朋友做了一个网站,流量排名还比较不错;而用这套模板重新做了个网站,但是却发现网站收录都不怎么收录,于是查找日志,发现搜索引擎爬虫只抓取图片和CSS文件,而html页面根本都不爬取。然后用谷歌网站管理员工具测试,返回的是500,找到是空间配置的问题,阻止了爬虫网站,在更换了空间之后,问题就解决了,这个就是查询日志的效果。

  另外就是夜息在途牛网的一个天气频道的案例。

  这个频道每天只有几百流量,并不是很好于是就查询了日志。发现这个频道每天蜘蛛抓取5000个页面,但是发现有3000个页面是404。于是便开始查看了网站这些URl,发现这些链接也确实是404页面。原因是标准化的meta标签写错了,导致这么多404。改变之后,抓取正常流量也就上升至几千了。那么如果这个案例就这样结束的话,也没有什么意思。继续在分析天气频道,现在发现3000个404变为1000个404。然后,就把这些url导出来,但是发现这些页面能够打开,而搜索引擎爬虫爬的时候就是404。虽然很是没有头绪,但是归根到底还是需要分析日志。后来就拿所有的日志信息继续来分析,发现这些404的url报错是很有规律的,都是在半夜1、2点时间内报错,但是服务器并没有关机啊什么的。而后就开始研究代码,很有可能是半夜程序、服务器啊什么报错。大家都知道,预报天气的话不是预报出很长时间的,就是预报一周的,所以每天需要生成今天之后的七天的天气页面的url,因为预报天气的这些数据都不是我们网站自己的,我们都是根据中国天气气象官网上采集下来的。我们每天发布天气信息的时间比生成预报天气的这个链接要晚。也就是说,半夜我们可以查询七天后的天气,但是我们还没有更新,所以导致爬虫出现404。之后,我们就修改后,就慢慢的不出现这种情况了。

  对于这种问题,如果只靠经验、程序的话,是很难去发现的,只有通过数据分析的力量解决才行。SEO以数据来指导,调整相应的策略。后知在今晚听了分享之后,感触很大,自己确实还是一个很菜很菜的,需要不断的来学习和进步,希望大家多多指点后知,让后知继续进去前进。
本文由泰州晨飞千斤顶转载:www.tzchenfei.com 转载请标明出处

Saminl 发表于 2012-05-21 11:08:29

数据对一个SEOer来说是很重要的...

Negotiator 发表于 2026-03-16 16:41:26

蹲了这么久,终于看到有价值的讨论,支持一下!
页: [1]
查看完整版本: SEO数据化。