2018-08-31 18:56:58
2
0
0
package cn.cqc3073.tool.hdfsmerger;
import com.google.common.base.Stopwatch;
import com.google.common.util.concurrent.ThreadFactoryBuilder;
import lombok.extern.slf4j.Slf4j;
import org.apache.commo
```
package cn.cqc3073.hive.udaf;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDFArgumentTypeException;
import org.apache.hadoop.hive.ql.metadata.HiveExc
/**
* 计算指定的两个指定的日期之前相差几个自然周
* create function udf.weekdiff as 'cn.cqc3073.hive.udf.WeekDiff' using jar 'hdfs:///user/hive/udf/hive-jar-with-dependencies.jar';
*
* by cqc
*/
@Description(
by 陈奇川
## 背景
在跑events2去重时`insert overwrite table events2_clean partition (ds, appid) select xwho, xwhat, min(xwhen), xwhere, xcontext['deviceid'], udf.oneof(xcontext), ds, appid from events2 where ds
2018-08-30 18:03:16
0
0
0
封装Hive Thrift Client的目的， 主要用于提交Hive作业（不涉及查询结果的提取，提取数据可自行扩展此类或直接使用HiveJDBC)，解决一些通过JDBC处理不了的问题，如：
1. 取执行状态
2. 取执行进度
3. 取执行日志
4. 设置一些hive执行参数
```
package me.cqc.hive;
import com.google.common.base.St
2018-08-30 17:38:40
0
0
0
```
import com.google.common.io.CharStreams;
import com.google.common.io.Files;
import org.springframework.context.ApplicationContext;
import javax.annotation.PostConstruct;
import javax.annotation.
2018-08-28 16:50:12
1
0
0
1. Map Join
在map join中，每个map都需要提供小表规模的内存去做map join，而此时若小表比较大时，会缩减map的整体可用内存。若`hive.auto.convert.join.noconditionaltask.size`值比较大(超过container内存的一半)，可根据实际情况降低该值(建议占用container大小的1/3)让join走shuffle的方式
2018-08-22 17:43:30
4
0
0
## 安装
新建 /etc/yum.repos.d/gitlab-ce.repo，内容为
```
[gitlab-ce]
name=Gitlab CE Repository
baseurl=https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/
gpgcheck=0
enabled=1
```
再执行
```
sudo yum makec
2018-07-10 16:14:06
0
0
0
```
package me.cqc.hive;
import com.google.common.collect.ImmutableMap;
import org.apache.hive.hcatalog.common.HCatException;
import org.apache.hive.hcatalog.data.HCatRecord;
import org.apache.hive.
package cn.cqc3073.hive.udf;
import com.nubia.hive.NewDateUtil;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import java.time.LocalDate;
import jav