有条hiveSql走Tez引擎, 针对mr的配置应该不会生效了吧?
0
针对小文件的处理,
例如下面的配置
hive.merge.mapfiles 在map-only job后合并文件,默认true
hive.merge.mapredfiles 在map-reduce job后合并文件,默认false
hive.merge.size.per.task 合并后每个文件的大小,默认256000000
hive.merge.smallfiles.avgsize 平均文件大小,是决定是否执行合并操作的阈值,默认16000000
set hive.merge.mapredfiles = true;
set hive.merge.smallfiles.avgsize = 100000000;
貌似好多都不起作用.
例如下面的配置
hive.merge.mapfiles 在map-only job后合并文件,默认true
hive.merge.mapredfiles 在map-reduce job后合并文件,默认false
hive.merge.size.per.task 合并后每个文件的大小,默认256000000
hive.merge.smallfiles.avgsize 平均文件大小,是决定是否执行合并操作的阈值,默认16000000
set hive.merge.mapredfiles = true;
set hive.merge.smallfiles.avgsize = 100000000;
貌似好多都不起作用.
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
1 个回复
meituan 2020-09-24 回答
赞同来自: