请问各位 有谁知道什么叫日志汇聚 关于hive的

0
2015-09-22 添加评论
分享

没有找到相关结果

    已邀请:
    1

    为了明天time - hadoop hive 大数据 java python 2015-09-22 回答

    日志汇聚的话一般用flume来采集webserver产生的日志数据，Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统
    2015-09-22 0
    分享
    1

    梁勇 - 天道酬勤、上善若水。爱好商业智能 2015-09-23 回答

    Hive中的日志分为两种
    1. 系统日志，记录了hive的运行情况，错误状况。
    2. Job 日志，记录了Hive 中job的执行的历史过程。

    系统日志存储在什么地方呢 ？
    在hive/conf/ hive-log4j.properties 文件中记录了Hive日志的存储情况，
    默认的存储情况：

    hive.root.logger=WARN,DRFA
    hive.log.dir=/tmp/${user.name} # 默认的存储位置
    hive.log.file=hive.log  # 默认的文件名

    Job日志又存储在什么地方呢 ？

    //Location of Hive run time structured log file
    HIVEHISTORYFILELOC("hive.querylog.location", "/tmp/" + System.getProperty("user.name")),
    默认存储与 /tmp/{user.name}目录下。
    2015-09-23 0
    分享
    0

    牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址：http://www.hellobi.com/course/39　有架构师，技术总监，CTO的职位请联系我！ 2015-09-22 回答

    没听过日志汇聚的概念，不好意思，可以进一步跟我交流。看场景应该是与日志有关。
    在大数据的场景下，我们一般分析都采用日志分析，比如用户行为分析，用户来源分析等等，这些分析场景一般都跟日志分析有关，在大数据的场景下，一个互联网公司有可能有很多台线上服务器，那此时，就需要收集服务器的日志到hadoop的集群中，然后利用hive的正则表达式来解析服务器日志，拿到自己想要的结果。
     
    以上，有问题可以随时再跟我交流
    2015-09-22 0
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册