1.概述

在X月XX日局方反应缴费失败率高，协助XXX工程师进行问题排查，经排查发现ECS-Serv152 的数据库连接发生异常，下面就该问题进行分析并提出相关建议。

2.故障原因

在发生故障时第一时间找到相关涉及系统并逐一排查，主要涉及的系统如下：

1、接口Tuxedo服务器，查看接口服务器发现并未出现服务堵塞的情况，

2、查看Weblogic相关服务器XXX和YYY，查看日志并未发现错误信息，但是查看ECS-Serv152标准输出文件时发现大量的SQL异常。下面是异常信息:

java.sql.SQLException: 关闭的连接

at oracle.jdbc.driver.SQLStateMapping.newSQLException(SQLStateMapping.java:70)
at oracle.jdbc.driver.DatabaseError.newSQLException(DatabaseError.java:112)
at oracle.jdbc.driver.DatabaseError.throwSqlException(DatabaseError.java:173)
at oracle.jdbc.driver.DatabaseError.throwSqlException(DatabaseError.java:229)
at oracle.jdbc.driver.DatabaseError.throwSqlException(DatabaseError.java:403)
at oracle.jdbc.driver.PhysicalConnection.prepareStatement(PhysicalConnection.java:3046)
at oracle.jdbc.driver.PhysicalConnection.prepareStatement(PhysicalConnection.java:2961)
at oracle.jdbc.OracleConnectionWrapper.prepareStatement(OracleConnectionWrapper.java:105)
at weblogic.jdbc.wrapper.XAConnection.prepareStatement(XAConnection.java:617)
at weblogic.jdbc.common.internal.ConnectionEnv.makeStatement(ConnectionEnv.java:1338)
at weblogic.jdbc.common.internal.ConnectionEnv.getCachedStatement(ConnectionEnv.java:1081)
at weblogic.jdbc.common.internal.ConnectionEnv.getCachedStatement(ConnectionEnv.java:995)
at weblogic.jdbc.common.internal.ConnectionEnv.getCachedStatement(ConnectionEnv.java:988)
at weblogic.jdbc.wrapper.Connection.prepareStatement(Connection.java:487)
at com.linkage.util.dbutil.DBBeanImpl.getPreparedStatement(DBBeanImpl.java:87)
at com.linkage.uip.processor.FilterUserInfoCMD.getFilterFlag(FilterUserInfoCMD.java:266)
at com.linkage.uip.processor.FilterUserInfoCMD.execute(FilterUserInfoCMD.java:87)
at org.apache.commons.chain.impl.ChainBase.execute(ChainBase.java:166)
at com.linkage.uip.processor.DefaultChain.execute(DefaultChain.java:150)
at org.apache.commons.chain.impl.ChainBase.execute(ChainBase.java:166)
at com.linkage.uip.processor.DefaultChain.execute(DefaultChain.java:150)
at com.linkage.uip.processor.CommonDataProc.process(CommonDataProc.java:35)
at com.linkage.uip.receiver.HTTPDataReceiver.doPost(HTTPDataReceiver.java:552)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:727)
at javax.servlet.http.HttpServlet.service(HttpServlet.java:820)
at weblogic.servlet.internal.StubSecurityHelper$ServletServiceAction.run(StubSecurityHelper.java:227)
at weblogic.servlet.internal.StubSecurityHelper.invokeServlet(StubSecurityHelper.java:125)
at weblogic.servlet.internal.ServletStubImpl.execute(ServletStubImpl.java:292)
at weblogic.servlet.internal.ServletStubImpl.execute(ServletStubImpl.java:175)
at weblogic.servlet.internal.WebAppServletContext$ServletInvocationAction.run(WebAppServletContext.java:3498)
at weblogic.security.acl.internal.AuthenticatedSubject.doAs(AuthenticatedSubject.java:321)
at weblogic.security.service.SecurityManager.runAs(Unknown Source)
at weblogic.servlet.internal.WebAppServletContext.securedExecute(WebAppServletContext.java:2180)
at weblogic.servlet.internal.WebAppServletContext.execute(WebAppServletContext.java:2086)
at weblogic.servlet.internal.ServletRequestImpl.run(ServletRequestImpl.java:1406)
at weblogic.work.ExecuteThread.execute(ExecuteThread.java:201)
at weblogic.work.ExecuteThread.run(ExecuteThread.java:173)

查看该错误最早的原因发现如下错误信息：

java.sql.SQLException: Listener refused the connection with the following error:
ORA-12505, TNS:listener does not currently know of SID given in connect descriptor
The Connection descriptor used by the client was:
133.224.218.1:1521:crmdb1
at com.linkage.util.dbutil.OraConnectionBean.connect(OraConnectionBean.java:69)
at com.linkage.util.dbutil.DBBeanFactory.getDBBean(DBBeanFactory.java:35)
at com.linkage.util.dbutil.DBBeanFactory.getDBBeanByConfig(DBBeanFactory.java:96)
at com.linkage.iboss.thread.vpdn.VPDNPrvOrderCheckRespGetProcessor.getRequestList(VPDNPrvOrderCheckRespGetProcessor.java:159)
at com.linkage.iboss.thread.vpdn.VPDNPrvOrderCheckRespGetProcessor.process(VPDNPrvOrderCheckRespGetProcessor.java:131)
at com.linkage.util.thread.MULTIDoJobThd.runWork(MULTIDoJobThd.java:37)
at com.linkage.util.thread.CommonTHD.run(CommonTHD.java:147)

该错误并非标准的Weblogic日志信息，也就是说该异常Weblogic并未探查，而应用在申请连接时Weblogic内部分配给了已经被关闭的连接导致应用发生异常信息。重启服务后生效。

有以下几个疑点：

1、在4月2日数据库一个节点发生异常宕机，而该数据源的连接TNS第一个节点即为宕机的节点；

2、 Weblogic并未探查到异常的数据库连接信息；

3、查看错误信息发生前后与数据库宕机的时间比较吻合。

下面具体介绍JDBC申请流程来方便定位问题：

应用在申请数据库连接时，JDBC连接池会分配给一个空闲的连接给应用使用，应用拿到连接后进行业务逻辑并在结束时关闭连接，该连接被释放，放回到连接池中。

那么出现问题就在拿到连接的过程，在重启服务器后，虽然服务已经正常，但是在测试该数据源的时候发生异常：

北京联动北方科技有限公司