现在大家爬取数据是用着哪种数据库呢? 我现在在阿里云上面跑zhihu爬虫,mongodb做存储,很慢,大家有推荐的嘛?

0
已邀请:
0

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-04-08 回答

小项目mongodb绝对是优选!大项目的就不一定了,具体看情况了。
至于很慢,你要下具体的原因,mongodb可以算是一种内存数据库,所以一般情况下性能不会很慢
你监控下云主机的相关指标看一下,是不是爬虫的资源使用太多了?
实在不行,就直接写入到文本里面,分析的时候再导入。
 

要回复问题请先登录注册