|
企业在做SEO的会接触到链接这部分内容,在SEO界链接基本分为内链、外链(友情链接)、反链、死链四大类。很多人认为只有页面不存在(404页面)的才称为死链,其实并不是这样的。死链是指已经无法到达的链接,也称作无效连接。死链不仅影响了用户体验,也影响了搜索效果。 , F& Z3 A6 ~* m7 H
5 R' I3 o" M6 j! ^6 a1 H6 g
本文将给大家分享下死链对网站的影响:死链是如何产生的,如何发现死链,如何正确的处理死链!
+ ^: F4 a" Y9 W2 k
7 q0 N2 K6 [8 E5 `7 Y' j- y6 P
+ d3 |# D; p2 U! X
* p, P: p) E$ G" d5 E6 n/ `$ V 一、大量死链对搜索引擎的影响 T; b) O K. }/ X Y4 j" B
7 l5 m7 C! C2 H2 m
1、死链率过高,会影响搜索引擎对网站的评分。
$ n/ u' C7 H5 e2 w: \1 n( a 2、搜索引擎对每个网站每天抓取的频次是限额的,若网站存在大量死链,会浪费掉抓取配额并影响其他正常页面的抓取。 3、过多死链对网站用户来讲也是体验不好的表现。 6 D" I& _. w. u0 X$ v$ ~
* d5 _, }& {1 k8 J# I# t
二、死链接是如何产生的?
; d1 n( `" g3 n! Z! k
2 ]" |, f- E) e/ j+ X# e
* \, l' Z2 C. d& Q+ v9 \
1、网站内部添加了错误的内部链接
- ?, U0 ^" u# k4 l
7 w) c% k6 C9 ^$ D9 O
编辑失误或者程序员大意让页面产生了不存在的页面。
% M! h0 S' p6 q1 y : d9 p0 x3 G) y2 B9 v! b
$ H) z5 Y+ K4 F* ~6 ]1 r% Y
2、网站短暂无法访问
9 K: j' g) N5 d+ B5 D
8 N; o- l Q9 K" n4 m. f* F! Q2 T
因为服务器、空间或程序问题导致网站短暂无法访问,产生大量返回码为5开头的服务器错误页面。
+ E' p( D& D9 \9 e9 A# l4 R% Y 8 L* b9 ?5 N/ Y2 s6 i
' `1 b4 Q) k* r$ c+ V
3、外部链接错误
( z& o2 r( ?8 ^* N
7 `. M# ]1 E* w1 y. t H& n
用户或者站长在站外发布了错误URL;别的网站复制或采集了你们含有错误链接的页面。
& }& I% w9 _* h+ N/ @# v9 N6 z
, V* o# i" |( l& K' x' T* E
* a9 G7 N7 C9 H6 Y6 N3 G9 M
4、爬虫提取了不完整的URL ( x4 l' u0 u" Q2 Z% H
2 ~) l& |" ]4 B! g1 {
个别爬虫在提取页面URL的时候,因为URL中有不规则字符或者URL与后边的文字链接起来,导致URL失效。% {* @( x' |8 a: [) m9 ?
, u3 p* J1 C! s- L1 }- m% _9 A/ |
* H4 a% n5 w3 Y1 G, z! ?) b6 j: @
5、网站改版
@ c; ~5 g* A' ?
$ @2 d; P/ L* p. l1 F/ ^: o
如果你的网站已经改版或者将要改版,一定要注意死链问题,很多网站改版后,之前的老页面直接删除,导致了大量的死链接。
; _+ N9 r4 p: g8 j
v! R. I$ K# Z. L8 S0 T
! q) `- }* p( x' ~0 I
6、管理员删除页面 4 A3 E8 q$ x6 u
& F0 k: i! @( F' ]/ Y x0 m
网站管理员删除被黑、广告、过时、被灌水页面导致很多死链接。
' [- M x9 ]# E1 b ; v) M2 H: P; |! B5 S" ]' j
3 f6 G( _( A* W" i& D( u 三、如何发现网站中存在的死链接? , `, W7 I7 |# w8 G! p; {7 |
& V4 b! s. d8 u
1、站长工具中的抓取异常工具可以查看最近一个月产生的各种死链,并支持导出功能。
8 u% I [9 r5 q. y
2、使用相关爬虫软件,比如Xenu,此类工具可以爬取全站所有链接并分析页面状态,分析完成后,支持导出功能,提取死链接即可。 $ u( N) z. C( y: _/ }2 u& a+ i, w
3、在网站运营中,特别是论坛,经常需要删除某些页面,在删除页面时一定要记录对应的Url以便后期提交死链。
, j4 e9 i8 t$ b5 i; [6 k
通过上述两种办法提取的死链列表,一定要经过删重和验证,比如用wps表格进行删除重复链接,然后再使用Http状态批量查询工具验证下是否确实是死链接。 - Z8 Q; ?; i4 e' h) Z/ t
2 N, g. @) R* H- B) ?4 p$ l
四、如何避免和处理死链接? 1 j" L/ r6 @* P/ v
/ `4 v2 x+ d& @& K* a3 q! N' q" o& N: C
1、网站改版最容易产生死链的
* V0 P) h0 F |3 v7 e. L 7 L, D8 _8 p/ D( P8 n# v0 @
改版之前的页面如果有价值尽量不要删除和修改Url,若需要更换域名或Url分配规则,那一定要将之前的url进行301跳转到对应的Url;若老的数据必须删除,那删除的所有页面Url要进行整理和提交死链。 & w' s) u1 y0 y0 U1 W& ^7 H
2、对发现的死链接如何处理
8 ^2 S" q" g* e; V
将收集好的所有死链接粘贴到网站根目录的一个文档中,再把文档地址提交到 站长工具--网页抓取--死链提交--添加新数据--填写死链文件地址;若大量死链具有一定的规则,如某个目录下全部为死链接,可提交规则死链。 * ~$ Y2 n; ^. P3 Y
2 k5 ^4 s1 T+ y$ u. e: k 相关注意事项 ], p7 r5 F) _! e
8 s2 [$ g8 w) A# {* p. Y3 N
1、在站长工具中提交死链前,一定要确保提交的死链数据不存在活链接。一旦存在活链,会显示提交失败导致无法删除。 : f2 z, e, Y( T2 I- H% n$ R
2、由于很多网站程序问题,很多打不开的页面返回码并非404,这是一个大问题,比如明明是打不开的页面返回码是301、200、500,如果是200的话,会导致网站中出现不同URL获取相同内容。比如我的一个站,社区的帖子删除后,返回码却是500,后期发现了,立马进行了处理。大家尽量找出所有错误URL格式,并设置HTTP状态码为404。 " K i1 W" \6 G) w9 r9 U% q
3、把所有的错误页面找到后,一定要寻找此类页面URL相同特征,并且和正常页面的特征有区分,写对应规则到robots文件中,禁止蜘蛛抓取,就算你已经在站长工具中提交了死链,也建议robots封禁抓取。 & \( j$ R- S% |+ ]; G
4、robots只能解决蜘蛛不再抓取此类页面,但解决不了已经收录页面的快照删除问题,若你的网站被黑,删除了被黑页面,除了robots封禁被黑页面外,还应该将这些页面提交死链。提交死链是删除被黑页面快照的最快办法。
- `" _" v( Q9 c3 s3 K. P2 l: s$ Y! z
|