微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

hive优化常用手段

hive aide_941 3℃ 0评论

hive优化常用手段

1、好的模型设计事半功倍

2、解决数据倾斜问题

3、减少 job 数

4、设置合理的 MapReduce 的 task 数,能有效提升性能。(比如,10w+级别的计算,用 160个 reduce,那是相当的浪费,1 个足够)

5、了解数据分布,自己动手解决数据倾斜问题是个不错的选择。这是通用的算法优化,但 算法优化有时不能适应特定业务背景,开发人员了解业务,了解数据,可以通过业务逻辑精 确有效的解决数据倾斜问题

6、数据量较大的情况下,慎用 count(distinct),group by 容易产生倾斜问题

7、对小文件进行合并,是行之有效的提高调度效率的方法,假如所有的作业设置合理的文 件数,对云梯的整体调度效率也会产生积极的正向影响

8、优化时把握整体,单个作业最优不如整体最优

转载请注明:SuperIT » hive优化常用手段

喜欢 (0)or分享 (0)

您必须 登录 才能发表评论!