如何应对每天30W,每年上亿的数据架构设计和存储方式?

0
情况如下:
系统每天晚上会接收30W左右的业务数据,
每年会有上亿的数据;
这些业务数据会用于KPI计算,也会用于用户业务系统界面查询;
如果设计可以提高数据的读写、计算速度?

在业务表结构设计这块,如果设计可以提高性能?
 
在服务器硬件上,一般遇到相同业务量会用什么样服务器硬件配置?(CPU、内存、硬盘)
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-09-01 回答

说到架构,这是一个非常非常大的概念和体系。不同的应用数据场景,采用不同的技术实现。
要求实时性的可以采用流式计算。
数据存储可以采用分库分表,Hadoop的分布式文件存储。
服务器也一样,分不同的情况。如果你要不差钱,内存计算,那1TB内存。
如果你用开源,来个100台台式机,每台32G内存。具体的问题可以看具体的应用场景。
非常欢迎你来跟我一起讨论服务器架构的东西。
 
 
 
0

superboyli520 - 微软BI技术达人 2015-09-11 回答

楼主所说的信息条数并不代表数据量。而且30W很少了。这些数据,如果做转换后,至DW估计实际存储的1/5都不到。这种情况,DW或分析数据库相关表做分区+索引完全没有问题。

要回复问题请先登录注册