|
企业在做SEO的会接触到链接这部分内容,在SEO界链接基本分为内链、外链(友情链接)、反链、死链四大类。很多人认为只有页面不存在(404页面)的才称为死链,其实并不是这样的。死链是指已经无法到达的链接,也称作无效连接。死链不仅影响了用户体验,也影响了搜索效果。 , w' w4 ^# P% U: t$ @
9 f% F4 ^) v. Y& b
本文将给大家分享下死链对网站的影响:死链是如何产生的,如何发现死链,如何正确的处理死链!
) Z9 O. J4 `5 U# L
' y. I; c5 u, d- \$ O5 H8 U
/ W) U3 B5 Y* F* Q3 O- z
# Y( z" h. i5 c \) ]; n* }7 _
一、大量死链对搜索引擎的影响
% y/ M% \7 B# T) W2 }9 T
) H' r( E) b( t( q D2 t
1、死链率过高,会影响搜索引擎对网站的评分。3 X) J M N# h. H
2、搜索引擎对每个网站每天抓取的频次是限额的,若网站存在大量死链,会浪费掉抓取配额并影响其他正常页面的抓取。 3、过多死链对网站用户来讲也是体验不好的表现。
6 L# Y9 K4 s. x8 @0 R, w" a; R
/ \0 \/ W! q' I, m; n6 x4 L 二、死链接是如何产生的? 5 o' m0 D/ I1 m0 ]
/ p/ R) u1 E' T. m
k9 P" b6 s) }, `. u+ d
1、网站内部添加了错误的内部链接 & I6 D6 K3 v8 [7 e
+ k0 G' W" ]3 p8 W0 ^: M1 e
编辑失误或者程序员大意让页面产生了不存在的页面。/ v$ M9 ?2 O7 @. t! g
, f, g" n3 k$ W0 x2 h$ p
c2 t& W7 f9 P/ A1 q
2、网站短暂无法访问
6 B) W5 t2 @# Z- Z9 k& V5 z. ?
0 p2 F5 D( J7 x- f' w% F4 U$ _/ a/ J
因为服务器、空间或程序问题导致网站短暂无法访问,产生大量返回码为5开头的服务器错误页面。6 H, ]0 S/ `) C5 H$ Z$ r' N0 t( I
5 X7 Y4 r8 l' ]. B* T
/ }9 f' ~2 |. A! X
3、外部链接错误
, e, P, A# a) O( }
, b6 K. l! h( O- r$ H4 [$ s
用户或者站长在站外发布了错误URL;别的网站复制或采集了你们含有错误链接的页面。" ~! s' D* } y1 V; m
, d4 m6 A" t8 e
1 p" D- ~7 e8 J# |, @: c+ z+ n3 ]7 C
4、爬虫提取了不完整的URL * G4 ^+ x9 t$ z
" T9 v b3 ^# p5 G2 s0 P
个别爬虫在提取页面URL的时候,因为URL中有不规则字符或者URL与后边的文字链接起来,导致URL失效。
* A. T# d. ?1 e. J, |* x7 N7 w0 a 0 c* M4 L' t7 D" D* l
( [! U* A4 ^! G4 S
5、网站改版
, a% d0 k0 n" e- K
0 a) E* Y3 w+ T! O9 [5 C
如果你的网站已经改版或者将要改版,一定要注意死链问题,很多网站改版后,之前的老页面直接删除,导致了大量的死链接。& i" r- |* ?' C
& v# u" B: Z- O' H6 ?
" p0 n3 d: C3 j9 R
6、管理员删除页面
+ y8 {$ j! o' Z5 P9 p8 ~- C
7 L: ~6 n; ^: F) F! p
网站管理员删除被黑、广告、过时、被灌水页面导致很多死链接。$ J: B. ?/ `6 O: q, v) f6 M @8 d
# Z) E/ }0 Q; r9 F5 x8 R
/ w* V4 h# w9 _
三、如何发现网站中存在的死链接?
2 T4 S! V( J! A
9 G l! h& u6 o6 m% @/ y6 i Z; }
1、站长工具中的抓取异常工具可以查看最近一个月产生的各种死链,并支持导出功能。
: B: ~- O/ K( I) S
2、使用相关爬虫软件,比如Xenu,此类工具可以爬取全站所有链接并分析页面状态,分析完成后,支持导出功能,提取死链接即可。 - z( X+ a. a5 \& L5 v: m, g! M
3、在网站运营中,特别是论坛,经常需要删除某些页面,在删除页面时一定要记录对应的Url以便后期提交死链。
6 X, B; W' B1 r* O; h
通过上述两种办法提取的死链列表,一定要经过删重和验证,比如用wps表格进行删除重复链接,然后再使用Http状态批量查询工具验证下是否确实是死链接。 W+ K$ g- Q) p% `% a; x
4 G7 {- \# x$ d* ~ 四、如何避免和处理死链接?
' {5 L |4 W& z# T1 W
/ L; [% `! l7 o/ v& F% [( Y
1、网站改版最容易产生死链的
) A! n4 B9 w4 l2 ?) m* {5 i% R- ^" L8 f
- K7 j) ]4 I1 N5 p! `
改版之前的页面如果有价值尽量不要删除和修改Url,若需要更换域名或Url分配规则,那一定要将之前的url进行301跳转到对应的Url;若老的数据必须删除,那删除的所有页面Url要进行整理和提交死链。 9 H. S3 H6 F4 B5 E) I( p5 V
2、对发现的死链接如何处理 ! u7 i) k3 H7 }! u# s, l4 y: Y% f
将收集好的所有死链接粘贴到网站根目录的一个文档中,再把文档地址提交到 站长工具--网页抓取--死链提交--添加新数据--填写死链文件地址;若大量死链具有一定的规则,如某个目录下全部为死链接,可提交规则死链。
, n' y, [* t+ b8 ^% G5 `. j
, P" q9 }6 J& } c8 n8 x' f) A9 m 相关注意事项 , n0 t, L0 @5 I0 b5 `
1 x- q q% ~' i: G% l0 ?
1、在站长工具中提交死链前,一定要确保提交的死链数据不存在活链接。一旦存在活链,会显示提交失败导致无法删除。 " \0 W0 Q! l8 N- u
2、由于很多网站程序问题,很多打不开的页面返回码并非404,这是一个大问题,比如明明是打不开的页面返回码是301、200、500,如果是200的话,会导致网站中出现不同URL获取相同内容。比如我的一个站,社区的帖子删除后,返回码却是500,后期发现了,立马进行了处理。大家尽量找出所有错误URL格式,并设置HTTP状态码为404。 5 v7 M# z) L# u
3、把所有的错误页面找到后,一定要寻找此类页面URL相同特征,并且和正常页面的特征有区分,写对应规则到robots文件中,禁止蜘蛛抓取,就算你已经在站长工具中提交了死链,也建议robots封禁抓取。
& e0 o/ N& L' n) M H! ^
4、robots只能解决蜘蛛不再抓取此类页面,但解决不了已经收录页面的快照删除问题,若你的网站被黑,删除了被黑页面,除了robots封禁被黑页面外,还应该将这些页面提交死链。提交死链是删除被黑页面快照的最快办法。
* O' L9 t& @4 Y8 f( }, @/ s, B* x
|