Linux服务器性能排查实战指南

1. 为什么需要Linux服务器性能排查刚接手一台Linux服务器时最让人头疼的就是遇到性能问题。上周我就遇到一个典型案例某电商平台的订单处理系统突然变慢客服电话被打爆。登录服务器一看CPU使用率长期保持在98%以上内存也所剩无几。通过下面这套排查方法我们10分钟内就定位到是某个Java进程内存泄漏导致频繁GC最终通过调整JVM参数解决了问题。掌握服务器性能排查是每个运维人员的必修课。无论是日常巡检、故障处理还是容量规划都需要对CPU、内存、带宽等核心指标了如指掌。与Windows不同Linux提供了丰富的命令行工具可以深入系统底层获取精确数据。2. 核心指标监控工具链2.1 CPU性能分析三板斧top命令是最直接的CPU监控工具。执行top后重点关注%Cpu(s)行us用户空间、sy内核空间、id空闲比例PR优先级、NInice值、VIRT虚拟内存等列按P可按CPU使用率排序进程更专业的vmstat可以查看CPU上下文切换vmstat 1 5 # 每秒采样1次共5次输出中r运行队列长度cs上下文切换次数ussyCPU总使用率对于Java应用pidstat更精准pidstat -u -p PID 1 3 # 监控指定进程CPU经验当us过高通常是应用代码问题sy过高则可能是系统调用频繁或驱动异常2.2 内存问题诊断组合拳free命令看整体内存free -h关键指标available真正可用内存比free更准确buff/cache缓存占用必要时可释放smem工具显示更详细的内存构成smem -t -k -p # 显示每个进程的USS/PSS/RSS其中USS独占物理内存PSS按比例计算的共享内存RSS总驻留内存含共享内存泄漏排查利器valgrindvalgrind --leak-checkfull ./your_program2.3 网络带宽分析双剑客iftop实时监控带宽iftop -nNP # 不解析IP为域名显示端口界面中表示发送流量表示接收流量按t切换显示格式nethogs按进程统计nethogs eth0 # 指定网卡3. 高级排查技巧3.1 性能快照保存与分析使用sysstat工具包记录历史数据sar -u -r -n DEV 1 60 perf.log # 记录60秒分析时可以查看CPU使用率变化曲线内存分页情况网络吞吐量波动3.2 火焰图生成安装perf和FlameGraphperf record -F 99 -g -p PID -- sleep 30 perf script | ./stackcollapse-perf.pl | ./flamegraph.pl flame.svg火焰图能直观显示函数调用栈耗时分布热点代码路径锁竞争情况3.3 容器环境特殊处理在Docker中需要docker stats # 查看容器资源使用 docker exec -it CONTAINER top # 进入容器查看K8s环境使用kubectl top pods --containers4. 常见问题速查表现象可能原因排查命令CPU跑满死循环/频繁GCtop→pidstat→jstack内存不足内存泄漏/缓存未释放free→smem→valgrind带宽打满DDOS/异常上传iftop→nethogs→tcpdump响应慢但资源充足磁盘IO瓶颈iostat→iotop进程卡死死锁/阻塞调用strace→pstack5. 个人实战心得报警阈值设置建议CPU持续80%以上、内存可用量10%、带宽使用率70%时报警历史数据对比性能问题要对比历史同期数据避免误判最小化监控生产环境避免安装重型监控工具优先用系统自带命令应急流程建立问题分级处理机制简单问题自动化处理最后分享一个实用脚本可以一键获取关键指标#!/bin/bash echo CPU TOP 10 ps -eo pid,user,%cpu,cmd --sort-%cpu | head -11 echo -e \n MEM TOP 10 ps -eo pid,user,%mem,cmd --sort-%mem | head -11 echo -e \n NETWORK ss -s | head -5