如何应对每天30W,每年上亿的数据架构设计和存储方式?
0
情况如下:
系统每天晚上会接收30W左右的业务数据,
每年会有上亿的数据;
这些业务数据会用于KPI计算,也会用于用户业务系统界面查询;
如果设计可以提高数据的读写、计算速度?
在业务表结构设计这块,如果设计可以提高性能?
在服务器硬件上,一般遇到相同业务量会用什么样服务器硬件配置?(CPU、内存、硬盘)
系统每天晚上会接收30W左右的业务数据,
每年会有上亿的数据;
这些业务数据会用于KPI计算,也会用于用户业务系统界面查询;
如果设计可以提高数据的读写、计算速度?
在业务表结构设计这块,如果设计可以提高性能?
在服务器硬件上,一般遇到相同业务量会用什么样服务器硬件配置?(CPU、内存、硬盘)
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
2 个回复
牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-09-01 回答
赞同来自: 梁勇
要求实时性的可以采用流式计算。
数据存储可以采用分库分表,Hadoop的分布式文件存储。
服务器也一样,分不同的情况。如果你要不差钱,内存计算,那1TB内存。
如果你用开源,来个100台台式机,每台32G内存。具体的问题可以看具体的应用场景。
非常欢迎你来跟我一起讨论服务器架构的东西。
superboyli520 - 微软BI技术达人 2015-09-11 回答
赞同来自: