数据库连接池的概念
数据库连接池概述:
数据库连接是一种关键的有限的昂贵的资源,这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性,影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。
数据库连接池负责分配、管理和释放数据库连接,它允许应用程序重复使用一个现有的数据库连接,而再不是重新建立一个;
释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。
数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中,这些数据库连接的数量是由最小数据库连接数来设定的。
无论这些数据库连接是否被使用,连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数,当应用程序向连接池请求的连接数超过最大连接数量时,这些请求将被加入到等待队列中。
数据库连接池的最小连接数和最大连接数的设置要考虑到下列几个因素:
最小连接数是连接池一直保持的数据库连接,所以如果应用程序对数据库连接的使用量不大,将会有大量的数据库连接资源被浪费;
最大连接数是连接池能申请的最大连接数,如果数据库连接请求超过此数,后面的数据库连接请求将被加入到等待队列中,这会影响之后的数据库操作。
如果最小连接数与最大连接数相差太大,那么最先的连接请求将会获利,之后超过最小连接数量的连接请求等价于建立一个新的数据库连接。不过,这些大于最小连接数的数据库连接在使用完不会马上被释放,它将被放到连接池中等待重复使用或是空闲超时后被释放。
c3p0、dbcp和proxool的优缺点比较及配置
目前常用的开源数据连接池主要有c3p0、dbcp和proxool三种
项目主页
DBCP:http://homepages.nildram.co.uk/~slink/java/DBPool/
C3P0:http://sourceforge.net/projects/c3p0
Proxool:http://proxool.sourceforge.net/
网上的评价是:
C3P0比较耗费资源,效率方面可能要低一点。
DBCP在实践中存在BUG,在某些种情会产生很多空连接不能释放,Hibernate3.0已经放弃了对其的支持。
hibernate开发组推荐使用c3p0和proxool;
Proxool的负面评价较少,现在比较推荐它,而且它还提供即时监控连接池状态的功能,便于发现连接泄漏的情况。
Spring配置dbcp数据源
DBCP(DataBase Connection Pool)数据库连接池,是java数据库连接池的一种,由Apache开发,通过数据库连接池,可以让程序自动管理数据库连接的释放和断开。由于建立数据库连接是一个非常耗时耗资源的行为,所以通过连接池预先同数据库建立一些连接,放在内存中,应用程序需要建立数据库连接时直接到连接池中申请一个就行,用完后再放回去。
dbcp需要2个包:commons-dbcp.jar、commons-pool.jar
<!-- 配置dbcp数据源 --> <bean id="dataSource2" destroy-method="close" class="org.apache.commons.dbcp.BasicDataSource"> <property name="driverClassName" value="${jdbc.driverClassName}"/> <property name="url" value="${jdbc.url}"/> <property name="username" value="${jdbc.username}"/> <property name="password" value="${jdbc.password}"/> <!-- 池启动时创建的连接数量 --> <property name="initialSize" value="5"/> <!-- 同一时间可以从池分配的最多连接数量。设置为0时表示无限制。 --> <property name="maxActive" value="30"/> <!-- 池里不会被释放的最多空闲连接数量。设置为0时表示无限制。 --> <property name="maxIdle" value="20"/> <!-- 在不新建连接的条件下,池中保持空闲的最少连接数。 --> <property name="minIdle" value="3"/> <!-- 设置自动回收超时连接 --> <property name="removeAbandoned" value="true" /> <!-- 自动回收超时时间(以秒数为单位) --> <property name="removeAbandonedTimeout" value="200"/> <!-- 设置在自动回收超时连接的时候打印连接的超时错误 --> <property name="logAbandoned" value="true"/> <!-- 等待超时以毫秒为单位,在抛出异常之前,池等待连接被回收的最长时间(当没有可用连接时)设置为-1表示无限等待 --> <property name="maxWait" value="100"/> </bean>
属性 | 说明 |
dataSource | 要连接的 datasource |
defaultAutoCommit | 对于事务是否 autoCommit, 默认值为 true |
defaultReadOnly | 对于数据库是否只能读取, 默认值为 false |
driverClassName | 连接数据库所用的 JDBC Driver Class |
maxActive | 可以从对象池中取出的对象最大个数,为0则表示没有限制,默认为8 |
maxIdle | 最大等待连接中的数量,设 0 为没有限制(对象池中对象最大个数) |
minIdle | 对象池中对象最小个数 |
maxWait | 最大等待秒数, 单位为 ms, 超过时间会丟出错误信息 |
password | 登陆数据库所用的密码 |
url | 连接数据库的 URL |
username | 登陆数据库所用的帐号 |
validationQuery | 验证连接是否成功, SQL SELECT 指令至少要返回一行 |
removeAbandoned | 是否自我中断, 默认是 false |
removeAbandonedTimeout | 几秒后会自我中断, removeAbandoned 必须为 true |
logAbandoned | 是否记录中断事件, 默认为 false |
minEvictableIdleTimeMillis | 大于0 ,进行连接空闲时间判断,或为0,对空闲的连接不进行验证;默认30分钟 |
timeBetweenEvictionRunsMillis | 失效检查线程运行时间间隔,如果小于等于0,不会启动检查线程,默认-1 |
testOnBorrow | 取得对象时是否进行验证,检查对象是否有效,默认为false |
testOnReturn | 返回对象时是否进行验证,检查对象是否有效,默认为false |
testWhileIdle | 空闲时是否进行验证,检查对象是否有效,默认为false |
testOnBorrow、testOnReturn、testWhileIdle:最好都设为true
在使用DBCP的时候,如果使用默认值,则数据库连接因为某种原因断掉后,再从连接池中取得连接又不进行验证,这时取得的连接实际上就会是无效的数据库连接。因此为了防止获得的数据库连接失效,在使用的时候最好保证
在构造GenericObjectPool时 [BasicDataSource在其createDataSource () 方法中也会使用GenericObjectPool],会生成一个内嵌类Evictor,实现自Runnable接口。如果timeBetweenEvictionRunsMillis大于0,每过timeBetweenEvictionRunsMillis毫秒Evictor会调用evict()方法,检查对象的闲置时间是否大于 minEvictableIdleTimeMillis毫秒(_minEvictableIdleTimeMillis小于等于0时则忽略,默认为30分钟),是则销毁此对象,否则就激活并校验对象,然后调用ensureMinIdle方法检查确保池中对象个数不小于_minIdle。在调用returnObject方法把对象放回对象池,首先检查该对象是否有效,然后调用PoolableObjectFactory 的passivateObject方法使对象处于非活动状态。再检查对象池中对象个数是否小于maxIdle,是则可以把此对象放回对象池,否则销毁此对象
Spring配置c3p0数据源
C3P0是一个开源的JDBC连接池,它实现了数据源和JNDI绑定,支持JDBC3规范和JDBC2的标准扩展。目前使用它的开源项目有Hibernate,Spring等。
c3p0所需jar:c3p0-0.9.2.1.jar、mchange-commons-java-0.2.3.4.jar
<!-- 配置c3p0数据源 --> <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" destroy-method="close"> <property name="jdbcUrl" value="${jdbc.url}" /> <property name="driverClass" value="${jdbc.driverClassName}" /> <property name="user" value="${jdbc.username}" /> <property name="password" value="${jdbc.password}" /> <!--连接池中保留的最大连接数。Default: 15 --> <property name="maxPoolSize" value="100" /> <!--连接池中保留的最小连接数。--> <property name="minPoolSize" value="1" /> <!--初始化时获取的连接数,取值应在minPoolSize与maxPoolSize之间。Default: 3 --> <property name="initialPoolSize" value="10" /> <!--最大空闲时间,60秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 --> <property name="maxIdleTime" value="30" /> <!--当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 --> <property name="acquireIncrement" value="5" /> <!--JDBC的标准参数,用以控制数据源内加载的PreparedStatements数量。但由于预缓存的statements 属于单个connection而不是整个连接池。所以设置这个参数需要考虑到多方面的因素。 如果maxStatements与maxStatementsPerConnection均为0,则缓存被关闭。Default: 0--> <property name="maxStatements" value="0" /> <!--每60秒检查所有连接池中的空闲连接。Default: 0 --> <property name="idleConnectionTestPeriod" value="60" /> <!--定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 --> <property name="acquireRetryAttempts" value="30" /> <!--获取连接失败将会引起所有等待连接池来获取连接的线程抛出异常。但是数据源仍有效 保留,并在下次调用getConnection()的时候继续尝试获取连接。如果设为true,那么在尝试 获取连接失败后该数据源将申明已断开并永久关闭。Default: false--> <property name="breakAfterAcquireFailure" value="true" /> <!--定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个一显著提高测试速度。注意: 测试的表必须在初始数据源的时候就存在。Default: null--> <property name="preferredTestQuery">select id from test where id=1</property> <!--因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的 时候都将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable 等方法来提升连接测试的性能。Default: false --> <property name="testConnectionOnCheckout" value="false" /> </bean>
属性 | 说明 |
maxPoolSize | 连接池中保留的最大连接数。Default: 15 |
minPoolSize | 连接池中保留的最小连接数 |
initialPoolSize | 初始化时获取的连接数,取值应在minPoolSize与maxPoolSize之间。Default: 3 |
maxIdleTime | 最大空闲时间,60秒内未使用则连接被丢弃。若为0则永不丢弃。Default: 0 |
acquireIncrement | 当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 |
acquireRetryDelay | 两次连接中间隔时间,单位毫秒。Default: 1000 |
autoCommitOnClose | 连接关闭时默认将所有未提交的操作回滚。Default: false |
preferredTestQuery | 定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个一显著提高测试速度。注意: 测试的表必须在初始数据源的时候就存在。Default: null |
automaticTestTable | c3p0将建一张名为Test的空表,并使用其自带的查询语句进行测试。如果定义了这个参数那么属性preferredTestQuery将被忽略。 你不能在这张Test表上进行任何操作,它将只供c3p0测试使用。Default: null |
maxStatements | JDBC的标准参数,定义了连接池内单个连接所拥有的最大缓存statements数,用以控制数据源内加载的PreparedStatements数量。 但由于预缓存的statements属于单个connection而不是整个连接池。所以设置这个参数需要考虑到多方面的因素。 如果maxStatements与maxStatementsPerConnection均为0,则缓存被关闭。Default: 0 |
maxStatementsPerConnection | maxStatementsPerConnection定义了连接池内单个连接所拥有的最大缓存statements数。Default: 0 |
numHelperThreads | c3p0是异步操作的,缓慢的JDBC操作通过帮助进程完成。扩展这些操作可以有效的提升性能通过多线程实现多个操作同时被执行。Default: 3 |
propertyCycle | 用户修改系统配置参数执行前最多等待300秒。Default: 300 |
idleConnectionTestPeriod | 每60秒检查所有连接池中的空闲连接。Default: 0 |
acquireRetryAttempts | 定义在从数据库获取新连接失败后重复尝试的次数。Default: 30 |
overrideDefaultUser | 当用户调用getConnection()时使root用户成为去获取连接的用户。主要用于连接池连接非c3p0的数据源时。Default: null |
overrideDefaultPassword | 与overrideDefaultUser参数对应使用的一个参数。Default: null |
checkoutTimeout | 当连接池用完时客户端调用getConnection()后等待获取新连接的时间,超时后将抛出SQLException, 0为无限期等待。单位毫秒。Default: 0 |
connectionTesterClassName | 通过实现ConnectionTester或QueryConnectionTester的类来测试连接。类名需制定全路径。 Default: com.mchange.v2.c3p0.impl.DefaultConnectionTester |
factoryClassLocation | 指定c3p0 libraries的路径,如果(通常都是这样)在本地即可获得那么无需设置,默认null即可 Default: null |
forceIgnoreUnresolvedTransactions | 作者强烈建议不使用的一个属性 将此设置为true可能会导致微妙和奇怪的错误 |
breakAfterAcquireFailure | 获取连接失败将会引起所有等待连接池来获取连接的线程抛出异常。但是数据源仍有效保留,并在下次调用getConnection()的时候继续尝试获取连接。如果设为true,那么在尝试获取连接失败后该数据源将申明已断开并永久关闭。Default: false |
testConnectionOnCheckout | 因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的时候都将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable 等方法来提升连接测试的性能。Default: false |
testConnectionOnCheckin | 如果设为true那么在取得连接的同时将校验连接的有效性。Default: false |
Spring配置Proxool
Proxool是一种Java数据库连接池技术。sourceforge下的一个开源项目,这个项目提供一个健壮、易用的连接池,最为关键的是这个连接池提供监控的功能,方便易用,便于发现连接泄漏的情况。
<bean id="dataSource" class="org.logicalcobwebs.proxool.ProxoolDataSource"> <property name="driver"> <value>com.mysql.jdbc.Driver</value> </property> <property name="driverUrl"> <value>jdbc:mysql://localhost:3306/dbname?user=yourname&password=yourpass</value> </property> <property name="user" value="yourname" /> <property name="password" value="yourpass" /> <property name="alias" value="Pool_dbname" /> <property name="houseKeepingSleepTime" value="90000" /> <property name="prototypeCount" value="0" /> <property name="maximumConnectionCount" value="50" /> <property name="minimumConnectionCount" value="2" /> <property name="simultaneousBuildThrottle" value="50" /> <property name="maximumConnectionLifetime" value="14400000" /> <property name="houseKeepingTestSql" value="select CURRENT_DATE" /> </bean>
属性 | 说明 |
acquireIncrement | 当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。Default: 3 |
fatal-sql-exception | 它是一个逗号分割的信息片段.当一个SQL异常发生时,他的异常信息将与这个信息片段进行比较.如果在片段中存在,那么这个异常将被认为是个致命错误 (Fatal SQL Exception ).这种情况下,数据库连接将要被放弃.无论发生什么,这个异常将会被重掷以提供给消费者.用户最好自己配置一个不同的异常来抛出. |
fatal-sql-exception-wrapper-class | 正如上面所说,你最好配置一个不同的异常来重掷.利用这个属性,用户可以包装SQLException,使他变成另外一个异常.这个异常或者继承 SQLException或者继承字RuntimeException.proxool 自带了2个实现:'org.logicalcobwebs.proxool .FatalSQLException' 和'org.logicalcobweb s.proxool .FatalRuntimeException' .后者更合适. |
house-keeping-sleep-time : house keeper | 保留线程处于睡眠状态的最长时间,house keeper 的职责就是检查各个连接的状态,并判断是否需要销毁或者创建. |
house-keeping-test-sql | 如果发现了空闲的数据库连接.house keeper 将会用这个语句来测试.这个语句最好非常快的被执行.如果没有定义,测试过程将会被忽略。 |
injectable-connection-interface | 允许proxool 实现被代理的connection对象法 |
injectable-statement-interface | 允许proxool 实现被代理的Statement 对象方法 |
injectable-prepared-statement-interface | 允许proxool 实现被代理的PreparedS tatement 对象方法. |
injectable-callable-statement-interface | 允许proxool 实现被代理的CallableStat ement 对象方法. |
jmx | 如果属性为true,就会注册一个消息Bean到jms服务,消息Bean对象名: "Proxool:type=Pool, name=<alias>". 默认值为false. |
jmx-agent-id | 一个逗号分隔的JMX代理列表(如使用MbeanServerFactory .fi ndMBeanServer(String agentId)注册的连接池。)这个属性是仅当"jmx"属性设置为"true"才有效。所有注册jmx服务器使用这个属性是不确定的 |
jndi-name | 数据源的名称 |
maximum-active-time | 如果housekeeper 检测到某个线程的活动时间大于这个数值.它将会杀掉这个线程.所以确认一下你的服务器的带宽.然后定一个合适的值.默认是5分钟 |
maximum-connection-count | 最大的数据库连接数. |
maximum-connection-lifetime | 一个线程的最大寿命 |
minimum-connection-count | 最小的数据库连接数 |
overload-without-refusal-lifetime | 这可以帮助我们确定连接池的状态。如果我们已经拒绝了一个连接在这个设定值(毫秒),然后被认为是超载。默认为60秒。 |
prototype-count | 连接池中可用的连接数量.如果当前的连接池中的连接少于这个数值.新的连接将被建立(假设没有超过最大可用数).例如.我们有3个活动连接2个可用连接, 而我们的prototype-count是4,那么数据库连接池将试图建立另外2个连接.这和 minimum-connection-count不同. minimum-connect ion-count把活动的连接也计算在内.prototype-count 是spare connections 的数量. |
recently-started-threshold | 这可以帮助我们确定连接池的状态,连接数少还是多或超载。只要至少有一个连接已开始在此值(毫秒)内,或者有一些多余的可用连接,那么我们假设连接池是开启的。默认为60秒 |
simultaneous-build-throttle | 这是我们可一次建立的最大连接数。那就是新增的连接请求,但还没有可供使用的连接。由于连接可以使用多线程,在有限的时间之间建立联系从而带来可用连 接,但是我们需要通过一些方式确认一些线程并不是立即响应连接请求的,默认是10 |
statistics | 连接池使用状况统计。 参数“10s,1m,1d” |
statistics-log-level | 日志统计跟踪类型。 参数“ERROR”或 “INFO” |
test-before-use | 如果为true,在每个连接被测试前都会服务这个连接,如果一个连接失败,那么将被丢弃,另一个连接将会被处理,如果所有连接都失败,一个新的连接将会被建立。否则将会抛出一个SQLException异常 |
test-after-use | 如果为true,在每个连接被测试后都会服务这个连接,使其回到连接池中,如果连接失败,那么将被废弃 |
trace | 如果为true,那么每个被执行的SQL语句将会在执行期被log记录(DEBUG LEVEL).你也可以注册一个ConnectionListener (参看ProxoolFacade)得到这些信息 |
上述特性的可设置性已在代码中验证,具体性能是否能实现有待实际验证
另外除了上面常用的,还有一些非常棒的值得学习,甚至上面的3个性能好要好很多,比如BoneCP,HiKariCP
文章内容由优客志查询资料总结,如有不正确的地方,还请底部留言,谢谢