❝
大家好!我是一个热衷于分享IT技术的up主。在这个公众号里,我将为大家带来最新、最实用的技术干货,从编程语言到前沿科技,从软件开发到网络安全。希望通过我的分享,能够帮助更多的小伙伴提升技术水平,共同成长!欢迎关注,一起探索科技的魅力吧!
❝
Nginx
是一个高性能的HTTP
和反向代理服务器,也是一个IMAP/POP3/SMTP
代理服务器。无论是在大流量的网站还是小型的个人博客中,Nginx
都得到了广泛应用。在实际生产环境中,对Nginx
日志的分析有助于我们了解网站的访问情况,发现潜在问题并进行优化。本文将通过编写Shell脚本,实现对Nginx
日志的全面统计分析。
首先,我们需要确保Nginx日志格式与以下格式类似:
`log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; `
假设我们的日志文件名为access.log
。
接下来,我们编写一个Shell脚本,对Nginx
日志进行统计分析。这个脚本包括以下功能:
统计各种状态码的数量
统计访问最多的Referer
统计访问最高的URI
统计访问最多的IP和User-Agent
统计每分钟的请求数、流量、请求时间、状态码等
`awk ' { Arry[$12] += 1; total++; } END { for (s in Arry) { printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s } } ' $LOG_FILE | sort -nr -k 1,1 `
❝
Arry[$12] += 1;
:
$12
是日志文件的第十二个字段,通常表示 HTTP 状态码。
Arry
是一个关联数组,以 HTTP 状态码为键,将每个状态码出现的次数累加到数组Arry
中。
Arry[$12] += 1;
表示状态码$12
出现的次数加 1。
total++;
:记录总的日志行数。
for (s in Arry)
:遍历数组
Arry
中的每个状态码s
。
printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s
:打印每个状态码的出现次数、占比和状态码本身。
Arry[s]
是状态码s
出现的次数。
Arry[s] / total
是该状态码出现的比例(占总请求数的百分比)。
s
是状态码。输出格式为:出现次数
\t
比例\t
状态码。
运行上述的命令,输出如下结果:
统计各种状态码的数量
Referer
`awk -F\" ' { Arry[$4] += 1; # 将每个引用的字段($4)出现的次数累加到数组Arry中 total++; # 记录总的日志行数 } END { for (s in Arry) { # 遍历数组Arry中的每个引用字段 printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s # 打印每个引用字段的出现次数、占比和引用字段本身 } } ' $LOG_FILE | sort -nr -k 1,1 # 按出现次数降序排序`
执行上述命令后,输出如下图的结果:
统计访问最多的Referer
URI
`awk ' { Arry[$9] += 1; # 将每个引用的字段($18)出现的次数累加到数组Arry中 total++; # 记录总的日志行数 } END { for (s in Arry) { # 遍历数组Arry中的每个引用字段 printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s # 打印每个引用字段的出现次数、占比和引用字段本身 } } ' $LOG_FILE | sort -nr -k 1 # 按出现次数降序排序`
执行上述命令后,输出如下图的结果:
统计访问最高的URI
User-Agent
`awk ' { Arry[$1] += 1; # 将每个IP地址出现的次数累加到数组Arry中 total++; # 记录总的日志行数 } END { for (s in Arry) { # 遍历数组Arry中的每个IP地址 printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s # 打印每个IP地址的出现次数、占比和IP地址本身 } } ' $LOG_FILE | sort -nr -k 1,1`
执行上述命令后,输出如下图的结果:
统计最多IP访问次数
User-Agent
`awk ' { Arry[$18] += 1; # 将每个引用的字段($18)出现的次数累加到数组Arry中 total++; # 记录总的日志行数 } END { for (s in Arry) { # 遍历数组Arry中的每个引用字段 printf "%d\t%.4f\t%s\n", Arry[s], Arry[s] / total, s # 打印每个引用字段的出现次数、占比和引用字段本身 } } ' $LOG_FILE | sort -nr -k 1 # 按出现次数降序排序 `
执行上述命令后,输出如下图的结果:
统计访问统计访问
`awk -F '|' ' BEGIN { printf "时间\t数量\t流量[MB]\t请求时间\t20x\t30x\t40x\t50x\t60x\n" } { # 提取时间的分钟部分 minute = substr($2, 12, 5) # 累计流量、请求数和请求时间 tms[minute] += $13 cnt[minute] += 1 reqt[minute] += $15 # 统计状态码 status_code = $9 if (status_code ~ /^2/) { sc20x[minute]++ } else if (status_code ~ /^3/) { sc30x[minute]++ } else if (status_code ~ /^4/) { sc40x[minute]++ } else if (status_code ~ /^5/) { sc50x[minute]++ } else { sc60x[minute]++ } } END { for (t in tms) { printf "%s\t%d\t%.4f\t%.4f\t%d\t%d\t%d\t%d\t%d\n", t, cnt[t], tms[t] / 1024 / 1024, (cnt[t] > 0 ? reqt[t] / cnt[t] : 0), sc20x[t], sc30x[t], sc40x[t], sc50x[t], sc60x[t] } } ' "$LOG_FILE" `
执行上述命令后,输出如下结果:
通过上述Shell脚本,我们可以快速、全面地分析Nginx日志,了解网站的访问情况和性能表现。这不仅有助于我们发现潜在问题,还能为后续的优化工作提供有力的数据支持。在实际应用中,你可以根据自己的需求,进一步扩展和定制这个脚本。
上述脚本已经上传上传到gitee
,有需要的小伙伴可以自行获取。gitee上的仓库主要是分享一些工作中常用的脚本。小伙伴可以frok或者watch仓库,这样有更新可以及时关注到。
脚本仓库
仓库地址:
`https://gitee.com/didiplus/script `