题记

距上次博文更新已经好几个月了，一直没有更新。一方面，是自己在这半年时间里一直做技术沉淀（大部分属于技术总结类），所以没有同步更新到博客上。喜欢的可以移步文末个人公众号浏览。再者，开始考虑进行工作调整（7月面试，8月确定，9月入职）。目前已在新东家上班数日。适应了节奏，缓了缓，想了想，还是做一下“渡劫”后的感受。

今年越野跑的第一个DNF献给了拆骨。都说拆骨让你又爱又恨，爱：补给好；恨：关门卡的紧。

概述

DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

前言

问题还是来源于实际项目。即席查询中，一次查询，返回大量数据会导致内存溢出问题。

问题

原始方案

直接通过jdbc链接数据库，通过遍历ResultSet获取结果。示例代码：

需求

• 数据库连接的池化管理
• 支持不同数据源链接池化处理

问题

• 如何维护链接对象
• 如何区分不同数据源池化
• 如何实现资源同步问题

序

周六，参加了华东区举办的HK100赛前分享会。作为一只，初入越野圈的菜鸟来说，也是去观摩大神的。流程大体：先来个热身，20km，1200多米的爬升的热身跑。实际跑下来，接近25km。然后，洗澡午餐。下午进行赛事分享。港百介绍，路线图分析。往届参赛人员经验分享。最后，是抽奖环节。

序

去年千八结束（点击不虐不欢之“千八”了解更多）后，就一直想去武功山看漫山的草垫。三、四月份是漫山的绿色，现在虽然草木凋零。但是依旧很憧憬。况且，武功山越野赛也一直想去参加。便有了这次的为期两天的武功山之行。

脚步

另一个，七尖越野赛也是要体验一把。后面有机会去七尖走走。

背景

工作中，即席查询，涉及到对sql语句进行切割。解析sql中的注释信息。使用正则表达式匹配分组，进行处理。

问题

早上，数仓人员提供一个很长的sql（sql很长，此处省略）。

发现，执行后怎么也不出来结果。看了系统日志，也没发现报错信息，很奇怪。

问题

现有一数据库表tableA，设计中有一个非主键的int型字段（下统称：dbId），需要实现递增需求。

背景

近期系统需求上来迟缓，也腾出了一些时间来梳理沉淀。对系统的代码进行审视，sonar静态检测，消除检测问题。也是还债的过程。回顾过往的坑，有些东西还是要沉淀下来。接下来节听听故事的来龙去脉。

一个故事

先说说之前印象比较深刻都一个需求，一个踩了很多坑的故事。