我有个问题想咨询下 如果训练数据太大 不能一下子进入内存,我知道得把数据分割 ,分几次训练, 可是有没有方法 ,可以让 分开的数据同时训练?节省时间 但是参数update又不受非同时的影响

0
已邀请:
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-10-14 回答

这就是分布式处理的场景所在啊。。。
不过一般情况下,训练数据都是相对来说比较小的,主要是验证模型是否合理,结果是否符合预期等等。
 
在小数据量训练满足分析预期的时候,再拿全量或者大量数据来去验证。。此时,你可能就需要用到分布式处理了。比如hadoop,spark等等。

要回复问题请先登录注册