|
企业在做SEO的会接触到链接这部分内容,在SEO界链接基本分为内链、外链(友情链接)、反链、死链四大类。很多人认为只有页面不存在(404页面)的才称为死链,其实并不是这样的。死链是指已经无法到达的链接,也称作无效连接。死链不仅影响了用户体验,也影响了搜索效果。
- P1 Y) c9 j, O: Q本文小易将给大家分享下死链对网站的影响:死链是如何产生的,如何发现死链,如何正确的处理死链!
6 R; ~& d! d/ _# T# m2 n/ ? ) b' R5 M9 [- ^7 K s
一、大量死链对搜索引擎的影响
+ c. _5 h, |) s( ~+ `$ N; {
% }/ E- S& h: b$ ^$ C9 r5 W1、死链率过高,会影响搜索引擎对网站的评分。
3 c; t: A0 B/ l 2、搜索引擎对每个网站每天抓取的频次是限额的,若网站存在大量死链,会浪费掉抓取配额并影响其他正常页面的抓取。 3、过多死链对网站用户来讲也是体验不好的表现。
5 t/ e2 `3 o+ l* H* r @' t5 V2 V. N1 `4 O
二、死链接是如何产生的?
3 P: @% Q2 W h" T, ^) b% X! S* i! Z" n4 z/ I# G& ]
! s! l9 |- r. k, n ]
1、网站内部添加了错误的内部链接
6 f2 @/ i) _1 c7 S5 z' E
/ y& Y" U1 |4 T编辑失误或者程序员大意让页面产生了不存在的页面。. A' Z3 z9 l+ o1 c% e. [8 [
) M; H- P- L; N
# ?6 B' ]9 j* \" ]- W: X
2、网站短暂无法访问 ; T9 c% C# ?; Y9 u/ v
4 e2 N+ a7 K" ~2 K
因为服务器、空间或程序问题导致网站短暂无法访问,产生大量返回码为5开头的服务器错误页面。7 H6 P& A8 r* h) V
# j$ g7 W) L2 K. o
/ V0 i9 R6 O) ~( B% E
3、外部链接错误 & B* Z8 w: Y g* R g
5 m' { x' j3 u. I, s7 u) l$ h$ w
用户或者站长在站外发布了错误URL;别的网站复制或采集了你们含有错误链接的页面。
5 x) I9 F$ X/ {7 P8 _ I: L0 x 7 m, K7 i) G) f" `+ C6 }' n
5 o6 D& z; q0 ]
4、爬虫提取了不完整的URL $ G' O& W! ?: n6 G( N
1 {& u* G& Z; d y$ w) Z* y4 g个别爬虫在提取页面URL的时候,因为URL中有不规则字符或者URL与后边的文字链接起来,导致URL失效。
) h. R- O* O! K0 F2 h
4 F N6 K, _2 [# X( P/ Q; b
8 p, o$ X# F9 I! |. U1 ]0 A3 a5、网站改版 ; N8 b& P2 x9 B" G
1 V/ N" B- f5 `* ]* q
如果你的网站已经改版或者将要改版,一定要注意死链问题,很多网站改版后,之前的老页面直接删除,导致了大量的死链接。
! W5 m8 d) y. \ }$ Q" k6 v
! }$ f9 m" s. @3 W) N
3 Y0 I5 n9 V5 e6、管理员删除页面 6 g: B$ M1 i9 v- u! R2 C) S
, O+ G. D l% ^! o; b0 R网站管理员删除被黑、广告、过时、被灌水页面导致很多死链接。
- w3 g8 l3 |; g, h三、如何发现网站中存在的死链接?
/ ]. |" X a" y6 _5 a6 _/ [1 E& X" Q2 C
! E a# x) Q8 {3 M: w( ]1、站长工具中的抓取异常工具可以查看最近一个月产生的各种死链,并支持导出功能。 / L; T3 t! h3 G1 w' Y9 E$ A2 M
2、使用相关爬虫软件,比如Xenu,此类工具可以爬取全站所有链接并分析页面状态,分析完成后,支持导出功能,提取死链接即可。
5 q0 m s" v; I# K" a" P3、在网站运营中,特别是论坛,经常需要删除某些页面,在删除页面时一定要记录对应的Url以便后期提交死链。
* r( u4 M2 t4 h6 C2 c6 R% j通过上述两种办法提取的死链列表,一定要经过删重和验证,比如用wps表格进行删除重复链接,然后再使用Http状态批量查询工具验证下是否确实是死链接。 2 r$ d( {* R$ I U
. V8 s9 {* m, X& c/ Y- b
四、如何避免和处理死链接? 7 g" ?! \! z. p! q7 }/ J
, b8 ?0 s# H8 j
1、网站改版最容易产生死链的- Z" D1 F h3 g
: J3 v# _% O: i" Z( h% o3 e
改版之前的页面如果有价值尽量不要删除和修改Url,若需要更换域名或Url分配规则,那一定要将之前的url进行301跳转到对应的Url;若老的数据必须删除,那删除的所有页面Url要进行整理和提交死链。
5 a/ G' V5 q( A" u3 X* W! i# i! G ]9 J2、对发现的死链接如何处理 1 u4 P; O1 \# D, W+ w/ X
将收集好的所有死链接粘贴到网站根目录的一个文档中,再把文档地址提交到 站长工具--网页抓取--死链提交--添加新数据--填写死链文件地址;若大量死链具有一定的规则,如某个目录下全部为死链接,可提交规则死链。 ' H) X9 V0 S6 }1 ]6 T
8 A+ E8 Q( e D- d1 w0 c* E
相关注意事项
% K" L+ p8 i* K* j4 T2 [" v# Z* S' o3 j7 e, w" I1 U
1、在站长工具中提交死链前,一定要确保提交的死链数据不存在活链接。一旦存在活链,会显示提交失败导致无法删除。
( ~) ^/ O' ~3 X6 z8 u: z1 @: U2、由于很多网站程序问题,很多打不开的页面返回码并非404,这是一个大问题,比如明明是打不开的页面返回码是301、200、500,如果是200的话,会导致网站中出现不同URL获取相同内容。比如我的一个站,社区的帖子删除后,返回码却是500,后期发现了,立马进行了处理。大家尽量找出所有错误URL格式,并设置HTTP状态码为404。
' u8 [: X, K8 P p3、把所有的错误页面找到后,一定要寻找此类页面URL相同特征,并且和正常页面的特征有区分,写对应规则到robots文件中,禁止蜘蛛抓取,就算你已经在站长工具中提交了死链,也建议robots封禁抓取。
$ s# y$ o5 ^+ ]. C5 Z0 F' g4、robots只能解决蜘蛛不再抓取此类页面,但解决不了已经收录页面的快照删除问题,若你的网站被黑,删除了被黑页面,除了robots封禁被黑页面外,还应该将这些页面提交死链。提交死链是删除被黑页面快照的最快办法。
+ X& Y$ x6 E$ R7 j+ E; V& `+ _: x& O4 s
|