报这个错有点坑, hive并没把真实的异常错误信息输出,返回一个笼统的错`Previous writer likely failed to write hdfs://xx, Failing because I am unlikely to write too`。源码如下:
```
public LocalResource localizeResource(
Path src, Pat
by 陈奇川
## 背景
在跑events2去重时`insert overwrite table events2_clean partition (ds, appid) select xwho, xwhat, min(xwhen), xwhere, xcontext['deviceid'], udf.oneof(xcontext), ds, appid from events2 where ds
一般来说,报`native snappy library not available: this version of libhadoop was built without snappy support.`,其在应用启动时会有个WARN信息`Unable to load native-hadoop library for your platform... using builtin-java
跑union all 语句时会多出一层目录,是tez在当前环境下的一个坑,导致其他的计算框架取不到数据
## 背景
最近在重启presto的时候总是报`fork: retry: Resource temporarily unavailable`,导致服务不正常
或跑的过程中会提示`java.lang.OutOfMemoryError: Unable to create new native thread`
## 以下为排查过程及结果
### 查看系统限制的进程数
```
sudo vim /et
## 先划重点
想看哪个类是从哪个包中加载出来,可在java 启动参数加添加`-verbose:class`, 这样在应用启动的时候会把所有的类加载路径给打印出来
## 背景
随着现在的应用集成的库越来越多,一不小心就出现了版本兼容的问题,特别是这种问题是时好时坏
## 坑
最近在调研 `tez on hive` 的功能,发现相同的语句有时候执行成功,有时候又执行失败,查了下失败任务的日志,