有条hiveSql走Tez引擎, 针对mr的配置应该不会生效了吧?

0
针对小文件的处理,
例如下面的配置

hive.merge.mapfiles 在map-only job后合并文件,默认true
hive.merge.mapredfiles 在map-reduce job后合并文件,默认false
hive.merge.size.per.task 合并后每个文件的大小,默认256000000
hive.merge.smallfiles.avgsize 平均文件大小,是决定是否执行合并操作的阈值,默认16000000
set hive.merge.mapredfiles = true;
set hive.merge.smallfiles.avgsize = 100000000;

貌似好多都不起作用.
 
已邀请:
0

meituan 2020-09-24 回答

好问题,同求大佬给予解答

要回复问题请先登录注册