宾馆酒店 网站模板,剪辑课程哪里培训最好,wordpress装在xampp,搜索引擎关键词排名在 Spring Boot 项目中#xff0c;数据库连接池已经成为标配#xff0c;然而#xff0c;我曾经遇到过不少连接池异常导致业务错误的事故。很多经验丰富的工程师也可能不小心在这方面出现问题。
在这篇文章中#xff0c;我们将探讨数据库连接池#xff0c;深入解析其实现机…在 Spring Boot 项目中数据库连接池已经成为标配然而我曾经遇到过不少连接池异常导致业务错误的事故。很多经验丰富的工程师也可能不小心在这方面出现问题。
在这篇文章中我们将探讨数据库连接池深入解析其实现机制以便更好地理解和规避潜在的风险。 1 为什么需要连接池
假如没有连接池我们操作数据库的流程如下
应用程序使用数据库驱动建立和数据库的 TCP 连接 用户进行身份验证 身份验证通过应用进行读写数据库操作 ;操作结束后关闭 TCP 连接 。
创建数据库连接是一个比较昂贵的操作若同时有几百人甚至几千人在线频繁地进行连接操作将占用更多的系统资源但数据库支持的连接数是有限的创建大量的连接可能会导致数据库僵死。
当我们有了连接池应用程序启动时就预先建立多个数据库连接对象然后将连接对象保存到连接池中。当客户请求到来时从池中取出一个连接对象为客户服务。当请求完成时客户程序调用关闭方法将连接对象放回池中。 相比之下连接池的优点显而易见
1、资源重用
因为数据库连接可以重用避免了频繁创建释放连接引起的大量性能开销同时也增加了系统运行环境的平稳性。
2、提高性能
当业务请求时因为数据库连接在初始化时已经被创建可以立即使用而不需要等待连接的建立减少了响应时间。
3、优化资源分配
对于多应用共享同一数据库的系统而言可在应用层通过数据库连接池的配置实现某一应用最大可用数据库连接数的限制避免某一应用独占所有的数据库资源。
4、连接管理
数据库连接池实现中可根据预先的占用超时设定强制回收被占用连接从而避免了常规数据库连接操作中可能出现的资源泄露。
2 JDBC 连接池
下面的代码展示了 JDBC 操作数据库的流程
//1. 连接到数据库
Connection connection DriverManager.getConnection(jdbcUrl, username, password);
//2. 执行SQL查询
String sqlQuery SELECT * FROM mytable WHERE column1 ?;
PreparedStatement preparedStatement connection.prepareStatement(sqlQuery);
preparedStatement.setString(1, somevalue);
resultSet preparedStatement.executeQuery();
//3. 处理查询结果
while (resultSet.next()) {int column1Value resultSet.getInt(column1);String column2Value resultSet.getString(column2);System.out.println(Column1: column1Value , Column2: column2Value);
}
//4. 关闭资源
resultSet.close();
preparedStatement.close();
connection.close();上面的方式会频繁的创建数据库连接在比较久远的 JSP 页面中会偶尔使用现在普遍使用 JDBC 连接池。
JDBC 连接池有一个标准的数据源接口javax.sql.DataSource这个类位于 Java 标准库中。
public interface DataSource extends CommonDataSource, Wrapper {Connection getConnection() throws SQLException;Connection getConnection(String username, String password) throws SQLException;
}常用的 JDBC 连接池有
HikariCPC3P0Druid
Druid阿里巴巴数据库连接池是一个开源的数据库连接池库它提供了强大的数据库连接池管理和监控功能。
1、配置Druid数据源
DruidDataSource dataSource new DruidDataSource();
dataSource.setUrl(jdbc:mysql://localhost:3306/mydatabase);
dataSource.setUsername(yourusername);
dataSource.setPassword(yourpassword);
dataSource.setInitialSize(5); // 初始连接池大小
dataSource.setMinIdle(5); // 最小空闲连接数
dataSource.setMaxActive(20); // 最大活动连接数
dataSource.setValidationQuery(select 1 from dual); // 心跳的 Query
dataSource.setMaxWait(60000); // 最大等待时间
dataSource.setTestOnBorrow(true); // 验证连接是否有效2、使用数据库连接
Connection connection dataSource.getConnection();
//使用连接执行数据库操作
// TODO 业务操作
// 使用后关闭连接连接
connection.close();3、关闭数据源
dataSource.close();3 连接池 Druid 实现原理
我们学习数据源的实现可以从如下五个核心角度分析
初始化创建连接回收连接归还连接销毁连接
3.1 初始化
首先我们查看数据源实现「获取连接」的接口截图初始化可以主动和被动两种方式。
主从是指显示的调用 init 方法而被动是指获取连接时完成初始化。 调用getConnection方法时返回的对象是连接接口的封装类 DruidConnectionHolder 。 在初始化方法内数据源创建三个连接池数组 。 connections用于存放能获取的连接对象。 evictConnections用于存放需要丢弃的连接对象。 keepAliveConnections用于存放需要保活的连接对象。
初始化阶段需要进行连接池的「预热」也就是需要按照配置首先创建一定数量的连接并放入到池子里这样应用在需要获取连接的候可以直接从池子里获取。
数据源「预热」分为同步和异步两种方式 见下图 从上图我们可以看到同步创建连接时是原生 JDBC 创建连接后直接放入到 connections 数组对象里。 异步创建线程需要初始化 createScheduler , 但默认并没有配置。 数据源预热之后启动了两个任务线程创建连接和销毁连接。 3.2 创建连接
这一节我们重点学习 Druid 数据源如何创建连接。
CreateConnectionThread 本质是一个单线程在死循环中通过 condition 等待被其他线程唤醒 并实现创建数据库连接逻辑。 笔者将 run 方法做了适当简化当满足了条件之后才创建数据库连接
必须存在线程等待才创建连接防止创建超过最大连接数 maxAcitve
创建完连接对象 PhysicalConnectionInfo 之后需要保存到 Connections 数组里并唤醒到其他的线程这样就可以从池子里获取连接。 3.3 获取连接
我们详细解析了创建连接的过程接下来就是应用如何获取连接的过程。
DruidDataSource#getConnection 方法会调用到 DruidDataSource#getConnectionDirect 方法来获取连接实现如下所示。 核心流程是
1、在 for 循环内首先调用 getConnectionDirect内调用getConnectionInternal 从池子里获取连接对象
2、获取连接后需要根据 testOnBorrow 、testWhileIdle 参数配置判断是否需要检测连接的有效性
3、最后假如需要判断连接是否有泄露则配置 removeAbandoned 来关闭长时间不适用的连接该功能不建议再生产环境中使用仅用于连接泄露检测诊断。
接下来进入获取连接的重点getConnectionInternal 方法如何从池子里获取连接。 getConnectionInternal()方法中拿到连接的方式有三种 直接创建连接默认配置不会执行 需要配置定时线程池 createScheduler当连接池已经没有可用连接且当前借出的连接数未达到允许的最大连接数且当前没有其它线程在创建连接 pollLast 方法从池中拿连接并最多等待 maxWait 的时间需要设置了maxWait pollLast 方法的核心是死循环内部通过 Condition 对象 notEmpty 的 awaitNanos 方法执行等待若池子中有连接将最后一个连接取出并将最后一个数组元素置为空。 takeLast 方法从池中拿连接并一直等待直到拿到连接。 和 pollLast 方法不同首先方法体内部并没有死循环通过 Condition 对象 notEmpty 的 await 方法等待直到池子中有连接将最后一个连接取出并将最后一个数组元素置为空。 3.4 归还连接
DruidDataSource 连接池中每一个物理连接都会被包装成DruidConnectionHolder在提供给应用线程前还会将 DruidConnectionHolder 包装成 DruidPooledConnection。 原生的 JDBC 操作 每次执行完业务操作之后会执行关闭连接对于连接池来讲就是归还连接也就是将连接放回连接池。
下图展示了 DruidPooledConnection 的 close 方法 在关闭方法中我们重点关注 recycle 回收连接方法。 我们可以简单的理解将连接放到 connections 数组的 poolingCount 位置并将其自增然后通过 Condition 对象 notEmpty 唤醒等待获取连接的一个应用程序。 3.5 销毁连接
DruidDataSource连接的销毁 DestroyConnectionThread 线程完成 : 从定时任务(死循环)每隔 timeBetweenEvictionRunsMillis 执行一次我们重点关注destroyTask的run方法。 destroyTask的run方法 会调用DruidDataSource#shrink方法来根据设定的条件来判断出需要销毁和保活的连接。 核心流程
1、遍历连接池数组 connections
内部分别判断这些连接是需要销毁还是需要保活 并分别加入到对应的容器数组里。
2、销毁场景
空闲时间idleMillis 允许的最小空闲时间 minEvictableIdleTimeMillis空闲时间idleMillis 允许的最大空闲时间 maxEvictableIdleTimeMillis
3、保活场景
发生了致命错误onFatalError true且致命错误发生时间lastFatalErrorTimeMillis在连接建立时间之后如果开启了保活机制且连接空闲时间大于等于了保活间隔时间
4、销毁连接
遍历数组 evictConnections 所有的连接并逐一销毁 。
5、保活连接
遍历数组 keepAliveConnections 所有的连接对连接进行验证 验证失败则关闭连接否则加锁重新加入到连接池中。
4 保证连接有效
本节我们讲解如何合理的配置参数保证数据库连接有效。
很多同学都会遇到一个问题“长时间不进行数据库读写操作之后第一次请求数据库数据库会报错但第二次就正常了。
那是因为数据库为了节省资源会关闭掉长期没有读写的连接。
笔者第一次使用 Druid 时就遇到过这样的问题有兴趣的同学可以看看笔者这篇文章 追源码的平凡之路 | 勇哥Java实战 下图展示了 Druid 数据源配置样例 我们简单梳理下 Druid 的保证连接有效有哪些策略
1、销毁连接线程定时检测所有的连接关闭空闲时间过大的连接 假如配置了保活参数那么会继续维护待保活的连接
2、应用每次从数据源中获取连接时候会根据testOnBorrow、testWhileIdle参数检测连接的有效性。
因此我们需要重点配置如下的参数
A、timeBetweenEvictionRunsMillis 参数间隔多久检测一次空闲连接是否有效。
B、testWhileIdle 参数启空闲连接的检测强烈建议设置为 true 。
C、minEvictableIdleTimeMillis 参数连接池中连接最大空闲时间毫秒连接数 minIdle 空闲时间 minEvictableIdleTimeMillis 。
D、maxEvictableIdleTimeMillis 参数连接池中连接最大空闲时间空闲时间 maxEvictableIdleTimeMillis不管连接池中的连接数是否小于最小连接数 。
E、testOnBorrow 参数开启连接的检测获取连接时检测是否有效假如设置为 true 可以最大程度的保证连接的可靠性但性能会变很差 。
