问个问题,大数据量情况下如何校验计算的结果是对的?比如我有十亿用户计算用户年龄的平均值

0
已邀请:
1

seng - 从事BI、大数据、数据分析工作 2016-03-11 回答

实际上这是一个很难回答的问题, 我觉得还是在于你信不信这个工具,或者信不信你使用的方法。
一般的核对分这2种情况,输入数据的正确性和方法的正确性。
互相检查,校验输入数据的正确性较多。
到方法的正确性,那就比较麻烦了, 验证逻辑的正确性,或者使用另外一种工具去交叉验证。

不过回到你的问题,我想你主要考虑得是你使用方法的正确性把?
建议先少数据量测试,可以用excel校验, 方法对了,十万、百万和十亿结果应该都是对的,就是时间或者能不能算出来的问题。
 

要回复问题请先登录注册