站点导航:美食娱乐 [登录]|[注册]
  • 再次补充说明一下,因为我目前还是在虚拟机上运行hadoop旳。关于你说的我写的mapreduce有问题,其实是可以排除的,因为我只是在执行简单hive语句出现我所说的问题!那这个一般是怎么造成的?

    迩再ye遇不见第二个俄|2017-10-24|共1个回答 |分类: 【出现
  • 我要回答 立即登录,登录后可回答 分享:
所有回答(1条)
亲爱的称呼2017-10-24 14:34
1楼

主是要数据倾斜。比很多数据到一个reduce来处理。不一定,要看你map输出的key。比较你map输出有一亿条数据,其中有五千万都是同一个key。那这五千万还是会到一个reduce,设多个还是没用。如果你这一亿条数据的key分布的均匀,那设多个reduce是有效果的。

您的回答 发表回答
关于Class01 | 联系我们 | 友情链接
Copyright ◎2008 Go007.com, All Rights Reserved. 粤ICP备10072383号-3