51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

hive over gc limit、java.lang.OutMemoryError:Java heap space

Hive 在 select 查询数据后,执行 insert 操作插入 ORC 表和 parquet 表操作的过程中,遇到
over gc limit、java.lang.OutMemoryError:Java heap space 等字样的错误,大概从哪些地方
查找原因解决问题?

(1)可能数据分布不均匀造成的,可以在 select 阶段加 cluster by rand()让数据均匀分布。
(2)map 和 reduce 阶段的内存不够,通过 hive 参数增加内存 set
mapreduce.reduce.memory.mb=16384;(实际调试的时候,8G 内存不够,增加到 16G 解决
问题) set mapreduce.map.memory.mb=4096;
(3)另外在数据格式不统一的情况下,不同格式的 insert 操作效率奇低。
赞(1)
未经允许不得转载:工具盒子 » hive over gc limit、java.lang.OutMemoryError:Java heap space