请教一个问题，spark 1.6 on yarn的历史服务器总看不到历史日志，参考了很多资料都没出来，有什么关键配置的吗？ 在spark histroy server可以看到历史job了，在yarn的就是看不到

0

1.png


2.png

 
2016-07-11 添加评论
分享

没有找到相关结果

    已邀请:
    0

    MarsJ - 大数据玩家~DS 2016-07-11 回答

    yarn的日志需要配置的，在yarn-site.xml中。
    配置日志属性有这些：
    <property>
    
   <name>yarn.log-aggregation-enable</name>
    
   <value>true</value>
    
   <description>default: false </description>
    
</property>
    
<property>
    
   <name>yarn.log-aggregation.retain-seconds</name>
    
   <value>86400</value>
    
</property>
    
<property>
    
   <name>yarn.log-aggregation.retain-check-interval-seconds</name>
    
   <value>86400</value>
    
</property>
    
<property>
    
   <name>yarn.nodemanager.remote-app-log-dir</name>
    
   <value>/tmp/logs</value>
    
</property>
    
<property>
    
   <name>yarn.nodemanager.remote-app-log-dir-suffix</name>
    
   <value>logs</value>
    
</property>
    2016-07-11 0
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册