1. 问题现象与紧急处理当MySQL突然抛出Too many connections错误时数据库连接池会被瞬间占满所有新连接请求都会被拒绝。这个错误通常伴随着前端应用大面积报错特别是在流量高峰时段。作为DBA我经历过多次类似事故最严重的一次导致电商平台支付功能瘫痪23分钟。1.1 30秒止血方案立即执行以下命令提升最大连接数无需重启服务SET GLOBAL max_connections 500;如果连MySQL命令行都进不去可以通过mysqladmin强制操作mysqladmin -uroot -p -h127.0.0.1 variables set max_connections500注意这仅是临时解决方案连接数设置过高可能导致内存溢出。生产环境建议不要超过300032G内存实例1.2 连接数暴增的常见诱因根据我处理过的47起同类事故主要原因分布如下原因类型占比典型场景连接泄漏58%未关闭的JDBC连接、ORM框架配置错误突发流量23%营销活动、爬虫攻击慢查询堆积15%未优化的复杂联表查询其他4%备份任务、监控工具异常2. 根因定位三板斧2.1 实时连接分析60秒定位法执行这个SQL可以立即看到连接来源TOP 5SELECT user, host, db, command, time, state, LEFT(INFO, 100) AS query_snippet, COUNT(*) AS connection_count FROM information_schema.processlist GROUP BY user, host, db, command ORDER BY connection_count DESC LIMIT 5;典型输出解读userapi_user且host10.0.3.%可能是应用服务器连接池泄漏commandSleep且time300存在长休眠连接stateCopying to tmp table出现性能瓶颈的查询2.2 连接趋势监控安装pt-stalk工具自动捕获连接数尖峰时刻的快照pt-stalk --collect-tcpdump --function status \ --variable Threads_connected --threshold 200 \ --cycles 5 --interval 1 --dest /var/log/mysql-debug这个配置会在连接数超过200持续5秒时自动收集以下信息完整的processlist当前所有SQL语句InnoDB状态服务器性能指标2.3 连接生命周期追踪在my.cnf中开启连接审计需要MySQL 5.7[mysqld] plugin-load-add connection_control.so connection_control_failed_connections_threshold5 connection_control_min_connection_delay1000通过审计日志可以分析连接创建/销毁的时间分布异常短命连接100ms可能是连接池配置错误异常长连接1h可能是连接泄漏3. 深度解决方案3.1 连接池优化配置以Java应用为例推荐HikariCP配置模板# 根据实例CPU核心数调整 maximumPoolSize20 minimumIdle5 # 必须设置超时单位毫秒 connectionTimeout30000 maxLifetime1800000 idleTimeout600000 # 启用泄漏检测 leakDetectionThreshold5000关键参数计算公式建议最大连接数 (核心数 * 2) 有效磁盘数 例如8核CPU SSD (8*2)1 17 取整203.2 自动熔断机制在应用层实现连接保护以Spring Boot为例Bean public HikariDataSource dataSource() { HikariConfig config new HikariConfig(); config.setConnectionInitSql(SELECT 1); config.setMetricRegistry(metricRegistry); // 当连接池耗尽时等待而不是新建连接 config.setInitializationFailTimeout(-1); return new HikariDataSource(config); }3.3 MySQL参数调优生产环境推荐配置8C16G实例[mysqld] max_connections300 wait_timeout60 interactive_timeout60 # 每个连接内存控制 thread_stack256K thread_cache_size50 # 连接排队机制 back_log100内存占用估算公式总内存 ≈ max_connections × ( thread_stack sort_buffer_size read_buffer_size join_buffer_size ) 缓冲池4. 长效预防体系4.1 监控告警方案推荐Prometheus监控指标alert_rules: - alert: MySQL_Too_Many_Connections expr: mysql_global_status_threads_connected / mysql_global_variables_max_connections 0.8 for: 2m labels: severity: critical annotations: summary: MySQL连接数预警 ({{ $value }}%)4.2 压力测试方案使用sysbench模拟连接风暴sysbench oltp_read_only \ --db-drivermysql \ --mysql-host127.0.0.1 \ --mysql-port3306 \ --mysql-usertest \ --mysql-passwordtest \ --mysql-dbsbtest \ --threads200 \ --time300 \ --report-interval10 \ run观察指标Aborted_connects认证失败连接Connection_errors_max_connections被拒绝连接Threads_created新建线程数4.3 连接泄漏检测脚本保存为check_conn_leak.sh#!/bin/bash THRESHOLD60 # 分钟 LEAK_USERS$(mysql -NBe SELECT user FROM information_schema.processlist WHERE commandSleep AND time ($THRESHOLD*60) GROUP BY user HAVING COUNT(*) 3) [ -n $LEAK_USERS ] \ echo 警报发现可能连接泄漏 - $LEAK_USERS | \ mail -s MySQL连接泄漏警报 dba-teamexample.com建议通过cron每15分钟运行一次。5. 典型故障案例库5.1 ORM框架配置错误某次事故分析现象每小时新增2000个Sleep连接根因MyBatis配置了defaultExecutorTypeREUSE但未启用连接池解决方案改用defaultExecutorTypeSIMPLE并配置proper连接池5.2 第三方SDK的坑某支付平台对接事故现象每分钟建立300短命连接根因SDK在每个请求中都新建/关闭连接解决方案在SDK初始化时注入连接池实例5.3 连接池参数误区常见配置错误误区maxPoolSizeminPoolSize失去弹性扩容能力正解保持minPoolSize ≈ maxPoolSize/3误区不设置maxLifetime导致连接老化正解设置为wait_timeout - 5分钟
