序

本文记录个人阅读《深入理解Java虚拟机：JVM高级特性与最佳实践（最新第二版）》一书中的摘要。后续会逐步对jvm相关原理内容进行扩充。力求成为目前互联网最全的jvm介绍。

百度网盘下载（仅作学习交流使用，如有侵权请告知）

问题描述

即席查询需要在前台展示出查询的结果集。由于sql语句的复杂度以及hive等计算引擎。无法在给定的时间内查询出结果集（超出连接超时时间），导致前端页面在未收到返回之前断开连接出现504错误。

场景

某系统遗留系统数据库设计表tableA中有个字段，以json的方式记录了一些扩展属性。
属性中记录了一些依赖关系。比如，表tableA中一条记录a1，依赖于表tableA中多个记录b1，b2…。记录格式为{“dependencies”:[{id:2,name:’b1’},{id:3,name:’b2’},…]}。

问题

如果tableA中将记录id=2的删除了，现在就需要级联将tableA中dependencies依赖id=1的记录也删除，要对tableA进行全表扫描。tableA数据量大，性能很低。有什么好的应对方式？

问题

mysql环境执行以下语句：
“You can’t specify target table ‘mt_datasource’ for update in FROM clause”。

不能先select出同一表中的某些值，再update这个表(在同一语句中)

1
2
3
4
5
6
7
8

-- 更新数据库信息
UPDATE mt_datasource SET is_deleted = 0 where id IN
(
	select id from mt_datasource where id in
		(
		select DISTINCT datasource_id from mt_table
		)
)

背景

研发库，单节点mysql数据库。某日志表数据量过大（千万级别），需要清除部分数据（比如:只保留近一个月的数据）。

措施

使用delete删除符合条件行数据。

问题

执行效率很慢。

原因：”delete语句执行删除的过程是每次从表中删除一行，并且同时将该行的删除操作作为事务记录在日志中保存 以便进行进行回滚操作。”

文章结尾会给出相关对比

现象

导出元数据表信息到csv文件中，出现部分电脑导出中文乱码。

导出实现

csv文件操作使用commons-csv组件，封装一系列文件操作及处理过程。更详细介绍可参见官网介绍。

序

昨天，朋友圈突然被“18岁的自己”刷爆，这是什么梗！意味着，90后的尾巴也成年了，一不留神，自己的第二个18岁也过了一半。感概中，略带伤感。

18岁的自己那年，印象深刻。那一年，失去了人生的最为重要的人。那时的自己很稚嫩，总感觉，明天一切都会回来。一值没能接受那个现实。随着时间一点点的流逝，慢慢地感受到失去了太多。那时，也算是人生中的一个转折点。一切，让自己变的更加自主，更加珍惜生命。

步入大学的时候。就开始了学着记录，记录生活中的点点滴滴。相信，在某一天，给心爱的人看的时候；抱着儿孙讲故事的时候；在花甲之年追忆的时候，看到自己留下的东西，能够回忆起更多。

遂，每年例行常规，对2017做个总结。

背景

随着数仓团队的壮大，以及数据运营分析师的扩张。数据处理的多样性及维护成本不多递增。为了实现数据规范化管理，降低维护成本。Metadata元数据管理平台应运而生。

系统分析

功能

主体功能

• 实现元数据的管理，从源表抽取业务数据。便于数仓和数据运营查看管理元数据。
• 任务的开发维护，内部结合调度系统执行kettle脚本，完成数仓工程师日常的抽取和开发工作。
• 即时查询处理，实现数仓和分析师对业务数据表的查询和验证。

架构

依旧是分层结构，SpringMVC+MyBatis+Vue构成整体应用框架。

描述

需求描述

数据库中一个表的某个字段（非主键），需要实现递增的效果。

实现方式

数据库自增机制

使用数据库auto increment机制，实现自增效果。

问题：由于数据库不允许非主键的自增处理，排除此方案。

标题缺少一个主语？形容词？物主代词……

闲暇之余，回顾这即将逝去的2016。过往的一年，患得患失。“塞翁失马，焉知非福”？