序

转眼，要到2019了。下午平躺在床上，总感觉少了些什么。工作中几个重要里程碑也算告一段落。这一个多月以来，略感疲惫。看书也断断续续，读书计划放缓。静下心来，是时候梳理下思路了。

工作

十一月份以来，慢慢地开始主导一些工作。定下来的里程碑事件，目前来看也算是如愿运行。从事大数据相关工作，也是职业生涯的转折。目前来看，水真的太深太深。所经历的领域，从最初的大数据分析，到后面的元数据治理，离线分析，然后是数据交换等，到目前的实时计算。一路走来，感受到了大数据平台的诸多组件。所设计的技术和知识域息息相关。

这一个多月，主要工作核心放在表存储治理和实时集群优化上。

存储治理

简单就是对数据的空间管理，优化存储。这里就会涉及到表生命周期的概念。力求用最少的存储成本，满足最大的业务需求。

一期，主要针对公司现有表空间进行归类梳理，对于僵尸表（近30天未访问），不更新表（近30天无增删操作），过期表（生命周期过期）。

其中过期表是此次治理的对象，对于不同层的数据表，给予不同的生命周期和移除策略。快到期进行过期通知，到期后自动将数据文件移到冷盘，进行归档。

目前，已经实现对整个公司的过期表管理，功能上线，也算是一个里程碑事件。

实时集群优化

这个事件，来源于对实时任务的管理。公司现状是离线任务和实时任务跑在同一个yarn集群上。为了缓解离线集群的压力，优化集群治理。将常驻的实时任务抛离出来，放在实时集群中。

那么，所需要的工作就是对现有离线集群上的任务进行迁移。以flink任务为主，也会有一些spark streaming。

目前，实时开发平台满足分集群提交的能力。历史的flink任务也慢慢地在向实时集群迁移。也算是一个里程碑事件。

生活

感觉生活幸福指数有点底，周末也不想参加活动。运动也少了很多。偶尔会去山上转一圈，结果计划的绕西湖群山“大圈”；结果折半，绕了个小圈回来了。

看书，买了Kindle的年度会员。下下来的几本书，也是进度缓慢。

计划春节出游，目前还没着手规划。也是一拖再拖，好担心又夭折啊。距离春节还有一个多月，看来是要着手规划了。

做饭，呃呃呃，噩梦啊。双十一买的灶具啥的还在柜子里放着，“落了一层灰”。嗯，接下来的工作节奏相对缓慢一些，可以去“开灶”了。

其他

“情感生活”：暂无；跑步比赛：暂无。

好了，好了。锅里的饭好了，不写了，留着元旦总结我的2018吧。