约 1亿条记录, 每条1k左右,key =>value形式,用于前台查询,选择什么作为存储方案比较合适呢,要求效率比较高并且相对稳定可靠?

0
每天需要从文件导入一次,目前想到使用mysql分表存储,不知道有没有更好的办法。
已邀请:
2

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-10-12 回答

简单的说下几种方案:
1.分库分表,读写分离:
将1亿条的数据按照某种规则拆开,存入多个不同的数据库中,读取的时候,根据Key来解析规则,直接去存放数据的slave上读取数据。
2.增加缓存
如果你的服务器足够强大,单库单表,或者少量库少量表,可以采用缓存+数据库,区分冷/热数据的方式来提高查询效率。
3.采用NoSQL的数据库解决方案:
Hbase,mongodb等等,也都是不错的解决方案。
 
以上,欢迎随时来讨论。

要回复问题请先登录注册