Hive动态分区Direct buffer memory溢出分析及解决方案
liuxuecheng 4年前 (2018-07-26) 12724浏览 0评论
1.背景 使用hive的动态分区(dynamic partition)时,如果最终生成的分区数比较多,会出现jvm直接内存(direct buffer memory)溢出的情况,导致分区作业失败。假如有一张订单表t_order_tmp,里面有个字段c...
hive
liuxuecheng 4年前 (2018-07-26) 12724浏览 0评论
1.背景 使用hive的动态分区(dynamic partition)时,如果最终生成的分区数比较多,会出现jvm直接内存(direct buffer memory)溢出的情况,导致分区作业失败。假如有一张订单表t_order_tmp,里面有个字段c...