标签 - 问题排查

Hive 问题排查    2018-10-19 15:57:53    0    0    0
报这个错有点坑, hive并没把真实的异常错误信息输出,返回一个笼统的错`Previous writer likely failed to write hdfs://xx, Failing because I am unlikely to write too`。源码如下: ``` public LocalResource localizeResource( Path src, Pat
问题排查 Hive HDFS    2018-08-31 18:43:43    0    0    0
by 陈奇川 ## 背景 在跑events2去重时`insert overwrite table events2_clean partition (ds, appid) select xwho, xwhat, min(xwhen), xwhere, xcontext['deviceid'], udf.oneof(xcontext), ds, appid from events2 where ds
Hadoop java 问题排查    2018-06-29 15:06:56    0    0    0
一般来说,报`native snappy library not available: this version of libhadoop was built without snappy support.`,其在应用启动时会有个WARN信息`Unable to load native-hadoop library for your platform... using builtin-java
Presto 问题排查 Hive    2018-03-23 15:39:07    3    0    0

跑union all 语句时会多出一层目录,是tez在当前环境下的一个坑,导致其他的计算框架取不到数据

Presto 问题排查 Linux    2018-03-09 17:35:26    0    0    0
## 背景 最近在重启presto的时候总是报`fork: retry: Resource temporarily unavailable`,导致服务不正常 或跑的过程中会提示`java.lang.OutOfMemoryError: Unable to create new native thread` ## 以下为排查过程及结果 ### 查看系统限制的进程数 ``` sudo vim /et
java 问题排查 Hive    2018-03-09 17:09:08    0    0    0
## 先划重点 想看哪个类是从哪个包中加载出来,可在java 启动参数加添加`-verbose:class`, 这样在应用启动的时候会把所有的类加载路径给打印出来 ## 背景 随着现在的应用集成的库越来越多,一不小心就出现了版本兼容的问题,特别是这种问题是时好时坏 ## 坑 最近在调研 `tez on hive` 的功能,发现相同的语句有时候执行成功,有时候又执行失败,查了下失败任务的日志,
闽ICP备19014535号-1