网站上线后首先要做的就是提交网址给搜索引擎，搜索引擎收到网址的请求后，并会安排蜘蛛对网站进行抓取，但是不尽人意的是蜘蛛总是不能对网站进行充分收录，网站的实际收录率非常低，到底是什么原因导致网站不能被充分收录，是网站结构问题、是网站权重问题、还是网站优化问题?广州兼职吧给大家揭秘不能充分收录的真实原因。" Q0 w+ J5 ^& f
8 b+ x1 k% `/ N+ | 第一:被robots.txt文件屏蔽。在分析网站日志时发现蜘蛛每天都会在网站抓取，但是网站依然是收录不充分，这时我们很有必要检测网站的robots文件，站长们都知道蜘蛛来网站抓取时，首先会检索网站是否存在robots文件，查看网站是否已经存在不需要抓取的页面，看文件中是否阻止了网站中某部分内容，很多站长因为不会正确的写robots文件，导致网站不能被充分的收录。对于很多新手站长不知道如何写文件，可以利用百度站长工具robots文件功能，可以检测你的文件写法是否正确，或者可以直接帮你生成文件，需要你填写屏蔽的文件路径即可。如下面的例子：( X4 q- V6 J- R
5 h1 ]3 \/ S/ `0 F4 G! |" K( i User-agent: *3 r# i3 f) i- }+ @' \( e
( U; Y1 T5 |/ S7 l4 h+ L2 q, C) { Disallow: /news / 不允许所有的搜索引擎抓取news路径下的内容' v A0 ?8 f- h% r( m
4 {4 N( ?$ b9 V6 ~ 如果某网站上添加了上面的文件，蜘蛛并不会抓取网站上在news路径下的内容，网站在news目录下更新的文章永远不会被收录，网站更新再多的文章，访问日志中蜘蛛每天都来抓取，但是对于这些内容还是不会给予收录。但是对于网站来说news下的内容是很重要的，这样错误的robots文件并是网站不能被充分收录的幕后黑手。- Y, K2 {3 n3 _ k, g
; I0 u- L$ u. R5 q8 O6 W 第二: robots meta标签禁止，网站在诊断的过程中，发现网站的实际收录率很低，网站有的栏目页可以被收录完整，但是有的栏目页更新原创的文章，也不会被收录，之后在检查网站代码时才发现，页面上使用了 noindex标签告诉蜘蛛不允许索引这个页面，显然保护这段代码的栏目页不会被收录，更新的内容即使质量再高也不会被抓取。同时，nofollow标签告诉蜘蛛此页面上的链接不传递权重，如果网站上的页面链接都带有nofollow，那这就是明显的告诉搜索引擎此页面没有任何价值。如果你的站遇到不能被充分收录，检查下meta标签，是否存在错误的标签。- {, a7 G. c7 r- W. |
2 Z f: R0 }. L: Z# @6 d
第三:页面没有被访问过,特别对于一些大型的内容型网站来说，网站上的内容页面特别多，网站之间如果不能很好的建立内链，很多页面可能就会面临着被沉底不收录的现象，这些页面大多数离网站首页深度比较深，蜘蛛无法对页面进行爬行，导致不能被蜘蛛收录。或者是链接到此页面的链接都是加了nofollow标签，不传递任何权重的链接。因为这种原因导致网站不被充分收录比较冤枉，对于网站的建设来说，最好不要在网站上使用nofollow标签、JS代码、或者蜘蛛不能识别的转向等。对于网站页面深度比较深的情况，站长们可以完善网站的内链建设，不要网站的页面变成独立的页面，建立好导航和内链，或者给想要收录的页面增加外链，提高页面在搜索引擎中的权重值。0 i- j4 O* n8 s* Y2 t
' w- I9 V$ m! U5 t! X0 F; d* K 第四:被蜘蛛当做是作弊的内容，网站中大量的使用heimaoSEO，作弊的手法优化页面，这样的页面蜘蛛是不会给予收录的。网站上长期使用隐藏文字在页面上进行关键词堆积，网站上对蜘蛛检索到存在隐藏文字和链接，这时你的网站很有可能会被蜘蛛从索引中删除，不会再次出现在搜索页面中。站长们可能会问什么是作弊的内容，如最初的作弊方法使用和背景颜色相同的文字，堆积大量的关键词，这种作弊方法很容易被检测出来;使用noscript标签，告诉浏览器当页面上有JS时，当浏览器关闭时，页面上该显示什么内容，事实上是在noscript标签中堆积很多关键词，这种做法是相关有危险的，很容易就会导致内容被删除。 N! M; d0 o4 [
% k: Q2 v, s9 _2 t( v0 l
第五:低质量内容垃圾站点，除去上面说到的4点优化方法上的原因，还有个重要的不可忽视的就是页面本身的问题，搜索引擎识别能力逐渐加强，对于非高质量非原创的内容，蜘蛛有一定的识别能力，不管是本身网站的重复内容，还是网站从外部获得的重复内容，蜘蛛都能一定程度的对其识别，对于重复的内容页面，蜘蛛不会继续放入自己的数据库，甚至会对一些低权重的网站，进行删除索引的操作。在互联网垃圾泡沫的时代，要想真正的做到收录充分，网站权重高，还是要坚持去做高质量的内容，这样才能长久在业界生存。: Q" Y( u+ i0 o- o; P8 a
3 W! l6 A& \4 }6 N' Z
小编认为即使网站权重不高，只要网站不犯以上说到的5点错误，网站想要被完全充分的收录还是可以的，互联网垃圾泡沫时代永远不会结束，但是只要站长们自己不做为其中一员，认真做自己的优化，不触犯搜索引擎的规则，迎合算法的更新，网站并可长期稳定的存活下来。% K ~+ ~1 K+ Y# o
CMS建站程序 http://www.zzbaike.com/wiki |
`7 v# r, f1 w) t
. P9 V7 X ?3 y0 e5 N
! d! I+ H6 q+ E' t8 @/ J% h( m7 \& r
* K: d, e8 ?6 `, K | 2 H7 h$ @7 C1 R; \$ h4 Q
' n/ W0 @) z# l: U |
|
