实战过程中，R语言在大数据分析里主要起到怎么做用啊？跟hadoop这些是如何配合工作的？？

0
2017-08-31 添加评论
分享

没有找到相关结果

    已邀请:
    1

    徐燕 - Technical support&Sales 2017-09-01 回答

    a. Hadoop家族的强大之处，在于对大数据的处理，让原来的不可能（TB,PB数据量计算），成为了可能。 b. R语言的强大之处，在于统计分析，在没有Hadoop之前，我们对于大数据的处理，要取样本，假设检验，做回归，长久以来R语言都是统计学家专属的工具。 c. 从a和b两点，我们可以看出，hadoop重点是全量数据分析，而R语言重点是样本数据分析。 两种技术放在一起，刚好是最长补短！ d. 模拟场景：对1PB的新闻网站访问日志做分析，预测未来流量变化 d1:用R语言，通过分析少量数据，对业务目标建回归建模，并定义指标d2:用Hadoop从海量日志数据中，提取指标数据d3:用R语言模型，对指标数据进行测试和调优d4:用Hadoop分步式算法，重写R语言的模型，部署上线这个场景中，R和Hadoop分别都起着非常重要的作用。以计算机开发人员的思路，所有有事情都用Hadoop去做，没有数据建模和证明，”预测的结果”一定是有问题的。以统计人员的思路，所有的事情都用R去做，以抽样方式，得到的“预测的结果”也一定是有问题的。所以让二者结合，是产界业的必然的导向，也是产界业和学术界的交集，同时也为交叉学科的人才提供了无限广阔的想象空间
     
    2017-09-01 0
    分享
    为什么被折叠? 0 个回复被折叠

    要回复问题请先登录或注册