我有个问题想咨询下 如果训练数据太大 不能一下子进入内存,我知道得把数据分割 ,分几次训练, 可是有没有方法 ,可以让 分开的数据同时训练?节省时间 但是参数update又不受非同时的影响
0
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
没有找到相关结果
1 个回复
牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-10-14 回答
赞同来自:
不过一般情况下,训练数据都是相对来说比较小的,主要是验证模型是否合理,结果是否符合预期等等。
在小数据量训练满足分析预期的时候,再拿全量或者大量数据来去验证。。此时,你可能就需要用到分布式处理了。比如hadoop,spark等等。