|
8 L) ?( I6 P5 K 服务器架构服务器系统为Centos7首先需要知晓系统的对外的架构一般架构：1.域名--->云服务器（ECS）2.域名--->CDN--->云服务器（OSS）3.域名--->CDN--->云服务器ECS+数据库RDS+缓存Redis
$ i' y8 M& C8 G7 ~- z0 U2 S 4.域名--->CDN--->负载均衡--->云服务器ECS+数据库RDS(主从)+缓存Redis5.域名--->CDN-->WAF防火墙--->负载均衡--->云服务器ECS+数据库RDS(主从)+缓存Redis 6 q# m& @' C l3 S; l' P2 Q
再根据实际情况出现的问题，一步步排查。  / `; L' L5 R3 g& C, {4 L9 j
发现问题一、发现问题首先发现问题，及时确定哪个服务出现问题，以便方便快速定位问题。查找对应的域名和设备Zabbix监控发钉钉告警  3 a5 d7 h0 q/ h
阿里云监控告警短信【阿里云】尊敬的***,云监控-云数据库RDS版于发生报警，CPU使用率（91.88>=80），持续时间4分钟3.shell脚本邮件告警
$ a/ k3 ^5 x2 Q' l& U+ i 4.其他同事客服、市场同事等钉钉、电话报告出现的问题二、快速定位问题网络带宽（CDN是否异常）域名是否解析到源站登录阿里云CDN后台查看相应流量负载均衡检查负载均衡是否正常运行，是否流量异常应用层服务器
# t5 s; y0 V) b2 S ECS服务器负载是否正常、cpu、内存负载是否过高，硬盘使用率是否达到100%等缓存服务器redis服务器负载是否正常、内存使用率如何数据库服务器数据库连接数是否正常列出当前用户的所有连接信息；show 0 t; o: y- F6 h
fullprocesslist; 杀进程，时长消耗太长的sql进程selectconcat(kill , id, ;) from information_schema.processlist where
. e2 |: X$ l) n& L, Z6 { command != Sleepandtime > 2*60orderbytimedesc; 让将sql语句发给后端研发分析远程连接服务器问题：CPU高，负载高，访问慢（数据库正常）系统层面查看负载查看负载、CPU、内存、上线时间、高资源进程
; ?# D' r% R2 Z9 [) i # top
) ?9 o; D% j* c' h) ^ b 安装： yum -y install htop) x* p+ j1 D1 e Z9 G$ V# g
# htop 查看top服务器负载，内存消耗，df -h查看硬盘top: l" M8 x' }8 p1 A W
df 查看nginx日志如果有nginx日志，进入nginx日志目录按照日志大小排列
0 G- i$ y/ b; v5 l 判断日志访问、相应时长，url等cd/data/wwwroot/logll-Srhtail-f XXX.XXX.COM-access.log分析日志，找出最多的IP日志、最多的URL等GoAccess、ELK后台查看日志
, M8 g' I$ k2 I( M. e. C 查看磁盘使用情况df -h查看磁盘当前情况iostat-x-k33avg-cpu:%user%nice%system%iowait%steal%idle3.700.002.250.410.0093.64 ) ?9 B6 N6 U! n Y. f: f9 t" @
Device:rrqm/swrqm/sr/sw/srkB/swkB/savgrq-szavgqu-szawaitr_awaitw_awaitsvctm%utilvda0.010.830.301.4811.34 3 l& I- N H+ r5 E
12.1326.300.016.157.415.890.240.04vdb0.000.170.020.280.082.7519.150.003.222.013.290.260.01vdc0.100.84
' x- n- ^6 _. |) t E* k- [ 3.090.56105.2220.5768.940.027.963.2933.741.330.49如果发现当前磁盘忙碌，则查看是哪个PID在忙碌：安装yuminstall-yiotop# iotop -o -P -k -d 5 ' J7 s8 e0 o0 p/ q
查看对外服务和端口# netstat -tunplActiveInternetconnections(onlyservers)ProtoRecv-QSend-QLocalAddressForeignAddress
: }# _+ W$ H3 s StatePID/Programnametcp000.0.0.0:629200.0.0.0:*LISTEN29177/vsftpdtcp000.0.0.0:80800.0.0.0:*LISTEN4393
# a- e1 B; r: `- M/ G4 X /httpdtcp000.0.0.0:73000.0.0.0:*LISTEN 4697/php-fpm:maste查看 PID 具体在安装yum install lsoflsof-p PIDlsof
, h& G1 J }6 U- p+ T -p 29177lsof-p 4697 查看系统日志tail -400f /var/log/messages0 w+ T' I" }4 o& j3 ~, j9 Q. D. |
tail -f /var/log/messages
# i Z. q2 m+ C: O3 Y5 N7 C0 q$ _ tail -n100 /var/log/messages$ K) k& l. P: r. U: Z
head -n100 /var/
0 @4 f% i% M7 ?- J& j log/messages查看简化线程树pstree -a >> /root/pstree.log网络问题ping域名pingwww.XXX.com查看网络节点情况安装： yuminstall-ytraceroute
) ]* h- a' U/ t d6 y d traceroutewww.baidu.com问题：CPU 低，负载高，访问慢（数据库）判断的数据库1.慢查询检查慢查询日志，可能是慢查询引起负载高，根据配置文件查看存放位置：log_slow_queries
) @" t6 h g7 v- Q7 z2 g; T3 Z 2.是否有系统瓶颈升级系统cpu、内存、硬盘，优化架构增加主从，一主多从等3.sleep连接是否过多showfullprocesslist;4.查看最大连接数查看设置的最大连接数
& `0 R j7 f9 J7 }& v0 S8 U showvariables。
: i O3 a# R2 d) l% f likemax_connections;
* F* ^; k. z' r2 [( I 重新设置最大连接数
5 C$ n; |. U) [5 p. [7 u* B& S* F setGLOBAL max_connections=300Nginx防护基本命令如果有一些异常访问，可以加入配合阿里云的WAF访问最多真实用户的IP。
: I+ k" \; q! n" j6 p j# c/ M cat www.XXXX.com-access.log |awk {print $5}| awk -F":"{print $NF} |sort|uniq -c|sort -nr|head -10查看访问排行前10的url
& I5 J1 T d+ K7 A5 [, d cat www.XXX.com-access.log | awk {print $10} | sort | uniq -c | sort -nr | head -n 10执行时间最长10条cat www.XXX.com-access.
/ v6 m/ ~3 ]0 U, w- x0 a log | sort -nr | head -n 10查看http_referer来路：cat www.XXX.com-access.log | awk -F"from:"{print $NF} |sort . w- p) q( P1 }0 ]6 K( u1 Y
|uniq -c|sort -nr|head -10封IP，查看特定的referer来源地址服务器防火墙封ip封IP段/sbin/iptables-IINPUT-s61.37.80.0/24-jDROP 6 y3 `5 z; ~7 X' l! y) t; ^
#屏蔽单个IP的命令是deny123.45.6.7#封整个段即从123.0.0.1到123.255.255.254的命令deny123.0.0.0/8禁止特定用户代理（User Agents）访问if ( 3 W W; S& r0 ]9 ]7 d; n* s6 R
$http_user_agent~* (wget|curl|Firefox) ) {" K+ a2 C# j, w6 y4 E Y( e
return404;
2 p$ W. Q: {3 s }特定的地址攻击做跳转rewrite ^/accounts/\+\$str\+ http://127.0.0.1/ 8 b* r. ~7 E9 a( n
redirect;根据 user_agent 控制客户端访问location / {6 b7 @* V0 O0 B5 s3 D# P, o0 X
if ($http_user_agent~ bingbot/2.0|MJ12bot/v1.4.2|Spider/3.0|YoudaoBot|Tomato|Gecko/20100315) / k5 \' V1 x3 g4 Z6 b0 E0 q5 C
{
' R+ j+ s0 _/ o return403;, V3 T7 n2 \: q+ b; s* l8 p
}. h* e5 }9 h2 M
}图片防盗链valid_referersnoneblocked *.XXX.com server_names ~\.google\. ~\.baidu\.;
* `" j- W$ a8 i A, }% g5 O1 K1 j- ?+ U* p
if ($invalid_referer) {
: G: q; ?5 w% _# A # return 403;rewrite ^/ http://www.XXX.com/daoling.png;. E' |) `: D; R( v& O* D* W" f
}
/ P4 z$ G( u4 c$ V, o2 W 不允许host为localhost访问if ($host = localhost) {( \* J; ?+ d9 C" i2 c- a
return403; M! h# ^, X9 J) L; d" N8 U, {# l, K
}不允许agent为空if ($http_user_agent
) a3 J2 v O/ E1 G8 Q0 N ~ ^$){
" A1 O% H7 v9 U9 O6 |4 w return403;* Q- A; F* y- y9 W- k
}不允许绑定host主机访问if ($http_x_forwarded_for~ ^$){
# m5 y$ s2 l: d7 z4 ] $ Q8 z+ `: z+ @. @, f5 j
return402;
# S$ G$ }( {- i7 x7 x" [1 h( U7 i } . `; N0 f( t% A1 w
% s' f4 Y. x( f/ ^4 T1 b/ B7 @0 }, i8 c5 [
8 Y) R# g5 W; z8 F, e1 l e; q2 z) F8 g, }( m" s+ W
| 
