|
+ V% L; w- m4 P4 h% ]! I! n
1. 介绍自从了解了error和access日志的重要性，并且学会阅读相关log文档之后通过调整nginx配置，解决error中的大量报错提示通过过滤js等静态资源减少大量的access日志记录内容同时，经过使用阿里云安全组封禁大量国外ip地址的访问。
, F; p! {) N7 I 我的access.log文件和error.log的尺寸得到了有效压缩管理access.log 从原先的12m左右的的文件，变成了现在的400KB记录的访问数据也清晰了很多error.log也从原先的8M左右的文件，变成了现在的1KB，或者300Bytes的文件。
/ r0 p1 J- B% i% O 甚至有时候还是0 Bytes日志文件的减少，也降低了服务器的IO读取的性能开支可以将更多的内存资源用于处理正常的请求可以说是一个双赢的结局本篇作为一个回顾总结内容具体的error文件内容配置可以参考：https://zinyan.com/?p=450 ，https://zinyan.com/?p=453。
' B4 o0 O: g- }/ K T access.log的文件配置可以参考：https://zinyan.com/?p=445，https://zinyan.com/?p=444，以及爬虫屏蔽过滤返回444：https://zinyan.com/?p=454。
) q4 Z0 s5 [3 } 2. 总结现在error文件中，剩下的记录主要就是SSL: error:141CF06C:SSL routines:tls_parse_ctos_key_share:bad key share异常了处理这个异常，可以通过封禁ip地址的访问，也可以不用在意。 8 m0 @2 s" c! j- }% |) @. w2 T# i) s
剩下的就是access.log文件了当我们配置UserAgent请求中带有爬虫关键字的请求直接返回444之后，例如：Status:444,Bytes:0,IP:185.117.225.171,Time:[ , s1 L( y4 [& C0 T& i) ?
2022-11-24T04:18:36+08:00],Host:"zinyan.com",Request:"GET /robots.txt HTTP/1.1",Referer:"-",UserAgent
" a; \) f! t. R& w :"python-requests/2.28.1"Status:444,Bytes:0,IP:51.77.247.119,Time:[2022-11-24T04:57:39+08:00],Host:"47.101.47.241"
+ Y4 x @3 T# y" C% S ,Request:"POST /phpinfo HTTP/1.1",Referer:"-",UserAgent:"curl/7.64.0"对比不同日期的access.log 可以发现，爬虫请的数量在不断变少。
4 f: T/ k! K3 B3 H; ]+ @1 G 因为当爬虫多次请求得到结果是444后，会渐渐降低我们网站的爬取级别，最终犹豫得不到数据而放弃爬取但是，也会有一些新增加的爬虫需要我们注意，并添加到过滤条件中而且也有一些过滤无法生效的情况，需要我们随时进行一些配置的修改例如：。 " t7 X0 `( M; |7 c
Status:404,Bytes:177,IP:18.195.96.149,Time:[2022-11-24T04:58:10+08:00],Host:"zinyan.com",Request:"GET /s/.git/HEAD HTTP/1.1" / k/ L' R/ ?$ J! E+ B
,Referer:"-",UserAgent:"RepoLookoutBot/1.0.0 (abuse reports to abuse@repo-lookout.org)"Status:404,Bytes
8 Z$ V0 W) k- L- l :186,IP:18.195.96.149,Time:[2022-11-24T04:58:42+08:00],Host:"zinyan.com",Request:"GET /categories/.git/HEAD HTTP/1.1"
) J1 I) L- p9 ]7 ]# c( Z( { ,Referer:"-",UserAgent:"RepoLookoutBot/1.0.0 (abuse reports to abuse@repo-lookout.org)"我们需要新增：RepoLookoutBot 爬虫工具的过滤。 % p6 W$ Y. v# Q
还有通过CensysInspect 工具：Status:400,Bytes:248,IP:167.248.133.62,Time:[2022-11-24T07:17:24+08:00],Host:"47.101.47.241:443"
+ a( ^0 e/ [/ p4 X ,Request:"GET / HTTP/1.1",Referer:"-",UserAgent:"Mozilla/5.0 (compatible; CensysInspect/1.1; +https://about.censys.io/)" ) `1 j) G' C7 y5 \2 `8 s4 E. z
同时在屏蔽过程中出现了有些能够屏蔽而有些无法屏蔽的问题：Status:444,Bytes:0,IP:167.248.133.62,Time:[2022-11-24T07:17:20+08:00],Host 7 M$ y! ~' U' n! G# v8 e
:"47.101.47.241:443",Request:"GET / HTTP/1.1",Referer:"-",UserAgent:"-"Status:400,Bytes:248,IP:167.248
6 `1 @7 `: s6 K" P3 A .133.62,Time:[2022-11-24T07:17:23+08:00],Host:"47.101.47.241:443",Request:"GET / HTTP/1.1",Referer:"-"
7 K& X2 g6 K/ r) m, X ,UserAgent:"-"两种访问从access.log中看到，可以说完全一样但是却一个返回444，一个返回400 返回444说明我的nginx过滤规则生效了而400说明没有生效同时，还需要添加上Host为空的访问，将它们进行过滤，例如：。 * v! B% z3 T5 l
Status:400,Bytes:150,IP:167.248.133.62,Time:[2022-11-24T07:17:24+08:00],Host:"-",Request:"PRI * HTTP/2.0" % c' m. a( x, K" s8 ~; E
,Referer:"-",UserAgent:"-"同时，我们也可以检查静态资源是否全部都过滤的情况，例如我的资源用到了jfif，webp文件我就需要添加到过滤规则中去PS：可能存在部分的过滤失败，但是整体上来说。 : L2 Z2 M5 W4 K0 {* o1 v
提高了网站的安全性，降低了大量的非法请求在收获上来说，这一些配置的付出是值得的3. 改进 nginx过滤规则基于发现的问题，再次改进access的过滤规则以及非法请求返回444的判断逻辑3.1 修改access_log 记录。
, O, d; S. X! a5 S8 r. U% a 在/etc/nginx/nginx.conf文件中修改如下：& R% \4 W* b$ `3 j6 i5 r% p. i
http {
; l, }% z+ o5 _. J _ ...6 A) t5 ?/ c, T$ U! O1 X
log_format main Status status,Bytesbody_bytes_sent,IPremote_addr,Time:[$time_iso8601],Host:"$http_host",Request:"$request",Referer:"$http_referer",UserAgent:"$http_user_agent" % O" h6 p' g3 N" _2 r4 b
;
7 U: s1 Q0 D* g- ~% x0 H' H map $uri $zinyanloggable {
1 L5 Q% X0 z+ \9 W default 1;/ P$ j) J% O! X
~^(.*\.(ico|gif|jpg|jpeg|png|bmp|swf|js|
. Y: A, W, I; z8 i/ G css|svg|woff|ttf|jfif|webp)$) 0;; f$ W# P1 p+ d. h5 ?" u
}
K) k' ^3 F& L0 d7 x Y' Q1 s4 w6 f access_log /var/log/nginx/access.log main if=$zinyanloggable;. S% b1 p0 D. a' G8 c) q) W r7 {
...$ X$ W; H1 K0 C- U, I& [8 `/ t9 w
} / @9 n) Q9 ~1 F$ J( H5 C
这样，access文件中就不会添加ico|gif|jpg|jpeg|png|bmp|swf|js|css|svg|woff|ttf|jfif|webp 作为后缀结尾的日志内容了3.2 map实现爬虫屏蔽。 ) c) ^6 w- w$ s' X
老版本写法为： server{
: r; D i9 S9 i( Q- I0 ]4 R ...% G# H( [6 Z: f3 g" D# k6 o
if ($http_user_agent ~ ^$){, P- ~7 u+ n0 ?3 a
return444;
" @ N4 }5 E$ H+ v# I: q* @ }0 u I7 L/ x) u
if ($http_user_agent ~*
# [) `* V6 \% I2 a "scrapy|python|curl|java|wget|httpclient|okhttp|MJ12bot|Expanse|ahrefsbot|seznambot|serpstatbot|sindresorhus|zgrab"
& `6 F C1 ^' e5 C ){
! n* t1 }0 o# r1 k' O3 t return444;' u6 W: ^ n' ~4 v" c/ `. t9 N! J
}
- Q6 ]' z/ Q. s ..." ~/ z' l' I( G$ D2 i! [( w1 X! _
}效率比较低，如果是多个server那么得写多遍所以修改为map的规则进行但是如果改为map的话，需要在http{}之中先创建map规则，然后再到server中使用就可以了。
: P2 Q" a* r2 \1 x s 示例如下： http {$ R# o: i3 Z, a4 p$ F- b5 w+ y
..., w" T. m5 o" x3 @0 Q: }1 Z4 e
# 创建一个屏蔽规则zinyanUA，而它的取值从$http_user_agent 中获取
: Z' u' {, U! T8 N( c map $http_user_agent $zinyanUA {
6 ]* O8 ?0 o; E: j8 G default 。 * T+ d8 V! {' |; u8 n! m
0;
7 _& |) Z7 r& M) g4 i! ~ ~*(scrapy|python|curl|java|wget|httpclient|okhttp|MJ12bot|Expanse|ahrefsbot|seznambot|serpstatbot| # A1 X& S3 @, v H. Z8 j5 o/ f" L5 R
sindresorhus|zgrab|censys|RepoLookoutBot) 1;( S! F$ G4 p1 I
~ ^$ 1;# t* ?8 i4 N9 C3 d7 r
}
# o# \) ]( q; }& e ...! Q2 `; r4 d4 T
}语法解释：~ 表示正则表达式对大小写敏感~* 表示正则表达式对大小写不敏感。 3 a T$ K9 b* _6 Z3 i
后面跟着的内容就是正则表达式了在正则表达式中^代表开头，$代表结尾，^$就代表开头和结尾中间没有字符也就是字符串为空的配置完毕后，在需要的server{}段中添加：server{
, |8 o* A4 f& s* B* [ ...
5 x# a- i8 d F 。
1 n+ J$ l) {! e, ?! _7 l if ($zinyanUA){9 f3 T; B! m: @+ @" Y7 q- v
return 444;' g: S9 d$ P4 o d* Y; G& @% ^
}$ b8 @+ V+ f% I% G; ~; @2 W& V
...
5 z- M/ o* o. k( x9 l7 N }因为在nginx 的if判断中，参数值0或者为空字符串，会判断为false，其他判断为true。
# z3 ?& ]; R$ u+ {3 v7 _ 而我在上面创建的map对象中，规范了，如果匹配就返回1，不匹配返回0所以if ($zinyanUA)为true的就是需要返回444的请求了nginx: [emerg] unknown directive "if($http_host)" in /etc/nginx/conf.d/zinyan.conf:49 nginx: configuration file /etc/nginx/nginx.conf test failed。
7 U, W4 b" W P* E- n5 ?" P" {; l 如果你出现了这个if命名错误的提示，并不是所谓的缺乏if命名的依赖库，而是Nginx中的if命名和括号中间需要有空格nginx -t 检测通过后，通过service nginx reload刷新配置就可以生效了。 $ b( e% \' L. q3 ~% G) y" @ s
PS：如果实在过滤不了的，建议直接封IP地址，特别是国外的访问。国内也有不少的攻击
0 D7 ]* o- `( X5 g1 Q9 v& C3 `: t6 U8 c% ^, a! f( K1 W2 }
( ~ B' J# H4 _( |, T# {
) O J8 a7 W3 y: D* M6 P2 W
- G' _1 m7 I n3 t8 k# f. g+ ]
| 
