|
企业在做SEO的会接触到链接这部分内容,在SEO界链接基本分为内链、外链(友情链接)、反链、死链四大类。很多人认为只有页面不存在(404页面)的才称为死链,其实并不是这样的。死链是指已经无法到达的链接,也称作无效连接。死链不仅影响了用户体验,也影响了搜索效果。 ) v0 S5 A( R3 ~5 } d: \
本文小易将给大家分享下死链对网站的影响:死链是如何产生的,如何发现死链,如何正确的处理死链!
/ p2 X) r7 ~. T. h L/ }2 p9 l 4 x& I x l& E- e' @
一、大量死链对搜索引擎的影响 $ F, H6 F* T/ q& E. n [
% P1 i) H5 c q: ^$ U# w+ A j5 H
1、死链率过高,会影响搜索引擎对网站的评分。
1 T- F. X! ? L! b" ` 2、搜索引擎对每个网站每天抓取的频次是限额的,若网站存在大量死链,会浪费掉抓取配额并影响其他正常页面的抓取。 3、过多死链对网站用户来讲也是体验不好的表现。 7 A: h" `% k4 I& v
3 p) K! O$ Z7 ?$ b9 I
二、死链接是如何产生的? . b2 r- W1 Q$ U* K
* @. V) J E+ E2 L, C; v/ _+ I6 J: t: v" q4 x m* z4 [ `% j; q
1、网站内部添加了错误的内部链接 " v" B4 |! t6 p! `3 `
5 ~% d3 `1 D0 R
编辑失误或者程序员大意让页面产生了不存在的页面。5 m, B/ n% i% y7 U" G
9 `' r4 D' E% A7 l, r/ }' U' _5 S( j/ X; r
2、网站短暂无法访问 7 A5 M% d3 b5 ?) [* f: \0 A$ x
) |+ A. V; }7 F6 v2 W" f
因为服务器、空间或程序问题导致网站短暂无法访问,产生大量返回码为5开头的服务器错误页面。
) s, ~, ^1 U2 |) K3 R2 L9 f$ u U+ Z, U0 ~, @& ~
$ x' N1 T1 {1 ^/ }; T6 X2 a
3、外部链接错误
' ~0 v1 d1 y, N1 b2 x9 N6 S4 X) j% G; ]1 T; `
用户或者站长在站外发布了错误URL;别的网站复制或采集了你们含有错误链接的页面。
1 ~9 X& Q$ Z( K% s! } # U& d; ^3 a! f. M* B( P
; g1 y0 z$ }* c7 u2 j: m4、爬虫提取了不完整的URL / V2 y s' i; Q3 @$ z
. |1 l8 P8 f# x2 _2 U; H w |
个别爬虫在提取页面URL的时候,因为URL中有不规则字符或者URL与后边的文字链接起来,导致URL失效。" T, |6 g; a5 _% I
0 n- ^/ `; a( }/ W+ ?4 X+ {4 p" C c; k: z
5、网站改版
$ j# D7 G; C0 z: m7 R4 }# r9 v2 U" k/ X2 X
如果你的网站已经改版或者将要改版,一定要注意死链问题,很多网站改版后,之前的老页面直接删除,导致了大量的死链接。
0 F7 q' N% w+ }# {+ N B# Y: B
# q* h0 F' S: U" D- f4 C5 K' t# H% z( X) e
6、管理员删除页面
& a0 e8 o" X' B( Z# M7 N# A, p2 z) o; D
网站管理员删除被黑、广告、过时、被灌水页面导致很多死链接。 ) q' }& V' p! E+ `
三、如何发现网站中存在的死链接?
% [& _; M1 ~# B9 c, G5 a. j# F
! S- ]! o! S- D/ k9 e: F1、站长工具中的抓取异常工具可以查看最近一个月产生的各种死链,并支持导出功能。
2 j" b( L; s+ b5 u0 n" n2、使用相关爬虫软件,比如Xenu,此类工具可以爬取全站所有链接并分析页面状态,分析完成后,支持导出功能,提取死链接即可。
# h8 `3 @. \, U8 x/ x3 C( p# c3、在网站运营中,特别是论坛,经常需要删除某些页面,在删除页面时一定要记录对应的Url以便后期提交死链。
3 B5 r! c1 V. o a通过上述两种办法提取的死链列表,一定要经过删重和验证,比如用wps表格进行删除重复链接,然后再使用Http状态批量查询工具验证下是否确实是死链接。
- n( C5 X' {. |$ J1 l
/ U2 j. X. N/ C4 E1 p, m四、如何避免和处理死链接?
, D& }0 E$ x6 k% X+ A3 a' T9 u: N: L4 D* R* f" _# \; L! M8 V$ R* `
1、网站改版最容易产生死链的" B. [! G. V) V" V; @! o
* ~/ I6 R2 P. \- \3 s
改版之前的页面如果有价值尽量不要删除和修改Url,若需要更换域名或Url分配规则,那一定要将之前的url进行301跳转到对应的Url;若老的数据必须删除,那删除的所有页面Url要进行整理和提交死链。 . P$ O$ {7 v* [9 `4 ]( M& y
2、对发现的死链接如何处理
: c$ r: f- A8 Q V S# h将收集好的所有死链接粘贴到网站根目录的一个文档中,再把文档地址提交到 站长工具--网页抓取--死链提交--添加新数据--填写死链文件地址;若大量死链具有一定的规则,如某个目录下全部为死链接,可提交规则死链。 N* R0 X( X1 b& s2 h, @( K# `
1 v* L- z) g# y+ }. a+ g相关注意事项 9 o! C* H! o% a# J
0 _2 _- ~( t. ^0 h" I: X, K1、在站长工具中提交死链前,一定要确保提交的死链数据不存在活链接。一旦存在活链,会显示提交失败导致无法删除。
/ K+ J6 y. D# R; e( u2、由于很多网站程序问题,很多打不开的页面返回码并非404,这是一个大问题,比如明明是打不开的页面返回码是301、200、500,如果是200的话,会导致网站中出现不同URL获取相同内容。比如我的一个站,社区的帖子删除后,返回码却是500,后期发现了,立马进行了处理。大家尽量找出所有错误URL格式,并设置HTTP状态码为404。
: S6 f# \) D T9 q9 O3、把所有的错误页面找到后,一定要寻找此类页面URL相同特征,并且和正常页面的特征有区分,写对应规则到robots文件中,禁止蜘蛛抓取,就算你已经在站长工具中提交了死链,也建议robots封禁抓取。 ; D- |( d9 P4 T4 a0 m
4、robots只能解决蜘蛛不再抓取此类页面,但解决不了已经收录页面的快照删除问题,若你的网站被黑,删除了被黑页面,除了robots封禁被黑页面外,还应该将这些页面提交死链。提交死链是删除被黑页面快照的最快办法。 " f, _1 O2 M# W( g" N) l! [- X6 p
; v0 K- w. K" I$ W' a, t3 a, G |