0
推荐
1165
阅读
莫非我就是被时代召唤的数学人
最近中美贸易战，华为成了焦点。任老爷子一席大论，据说有 27 次提到了数学；紧接着，某著名公号的一篇《时代呼唤数学家》又刷了屏，直把数学家推到了风口浪尖，让人感觉数学的春天就要来了。熟悉我所做工作的朋友也来问我：是不是有很多人来找我了。其实惭愧，并没有多少，所以写个文章蹭蹭热点宣传一下。我是在用数学...
1
推荐
1419
阅读
这个产品能支持多大数据量？
经常有用户会问这个问题，你家的产品能处理多大数据量？似乎是这个值越大产品就越牛。这个问题，其实没多大意义。能处理多大的数据量，还有个很关键的因素是期望的响应时间，在脱离这个因素单纯谈大数据产品的数据处理量，就不知道怎么回答了。考虑只有单台机器的简单情况。如果是希望秒级响应的OLAP式汇总，那么GB级都...
0
推荐
1376
阅读
最简单的大数据性能估算方法
大数据的性能是个永恒的话题。不过，在实际工作中我们发现，许多人都不知道如何进行最简单的性能估算，结果经常被大数据厂商忽悠:)。这个办法我在以往的文章中也提到过，不过没有以这个题目明确地点出来。其实很简单，就是算一下这些数据从硬盘上取出来用的时间。除了个别按索引取数的运算外，绝大多数运算都会涉及对数...
0
推荐
1340
阅读
大清单报表的打印？
我们谈了大清单报表的呈现方法，其实有时候这些报表还需要打印，比如银行打印流水对账单。那么，打印是不是也要像呈现那样做一个缓存机制呢？没有这个必要。打印和浏览不同，一般是从头到尾过一遍就行了，过程中没有翻页的需求。这样，只要流式读入数据逐步生成打印页就可以了，不会发生内存溢出的问题。但这个做法仍然...
1
推荐
1638
阅读
做基础软件很悲壮？
这几天中国数据库界出了一件悲伤的事情，南大通用创始人崔维力先生突然因病去世。我和崔先生神交已久，但却未曾谋面，一直希望有机会当面沟通讨教，这一下就成永远的遗憾了。崔先生的英年早逝（60多岁的年纪而已）又引发一个话题：做基础软件，特别是做国产基础软件，是个苦行僧的活。相比于应用软件，基础软件的技术含...
0
推荐
1409
阅读
存储和计算技术的选择
前一阵子公司有个售前来沟通某个用户的情况：数据量比较大，又涉及很多复杂的关联计算，在数据库中用SQL计算性能很差。本来这种场景是比较适合集算器的集文件（集算器特有的压缩二进制格式...
1
推荐
2337
阅读
区块链技术的一些疑问
下面是我在学习了解区块链技术过程中产生的疑问，思考问题的过程中也会让自己对这项技术理解得更深刻。我不算初学者（知道区块链已有五年之久了），但一直也没有深入学习，不能算链圈的专业人士，所以可能孤陋寡闻，不能确认这些问题是不是已经被解决了，或者根本就是问得毫无意义，权当学习笔记。 1. 区块链只适合...
1
推荐
2011
阅读
数据蒋堂新一年
时光匆匆，《数据蒋堂》已经走过一年。在这里，也庸俗地感谢一下读者们的一路相伴！老实说，这一年写这玩意儿有点难度的，主要原因是时间周期卡得有点死，每周一篇执行起来是不太容易，一开始小看了这个频度；另外是篇幅问题，一周一篇讲一个问题，也不希望太短。结果有时工作忙了来不及搞，就会感觉是个负担了，而且偶...
0
推荐
1372
阅读
大数据技术的4个E
大数据的4个V说法在业界已经尽人皆知，这是指的大数据本身的特征。现在我们来考察一下用于处理大数据的技术应该具有的特性。为方便记忆，类似4个V，我们把这些特性总结成4个E，用户在选择大数据技术解决方案时可作为参考。1. Easy 大数据技术要足够简单易用这个E很容易理解。要进行大数据处理的场景很多，涉及工作人员也...
0
推荐
1680
阅读
【数据蒋堂】第48期：Hadoop中理论与工程的错位
Hadoop是当前重要的大数据计算平台，它试图摒弃传统数据库的理念，重新构建一套新的大数据体系。但是，这并不是件很容易的事，在Hadoop的设计和实现中能看到一些先天不足的地方，其中一点就是把理论问题和工程问题给搞拧了。所谓理论方法，是指试图解决问题的一般情况，设计通用的算法能适应尽量多的情况，并努力使算法...
1
推荐
1588
阅读
【数据蒋堂】第47期：Hadoop – 一把杀鸡用的牛刀
Hadoop是个庞大的重型解决方案，它的设计目标本来就是大规模甚至超大规模的集群，面对的是上百甚至上千个节点，这样就会带来两个问题：1. 自动化管理管任务分配机制：这样规模的集群，显然不大可能针对每个节点提供个性化的管理控制，否则工作量会大到累死人，必须采用自动化的管理和任务分配手段，而这并不是件简单的事...
0
推荐
1405
阅读
【数据蒋堂】第46期：大数据集群该不该透明化？
这好像是个多余的问题，大部分大数据平台都把集群透明化作为一个基本目标在努力实现。所谓集群透明化，是指把一个多台机器的集群模拟得像一个巨大的单机，只是系统管理层面知道体系是由很多单机集群而成，应用程序则应当尽量少地感受到集群的存在，在概念上可以把整个集群理解成一台机器，甚至在代码级都可能和单机运算...
0
推荐
1357
阅读
做基础软件要投入很多钱？
现在有个说法，国家对基础软硬件的投入太少，经常会说微软、Oracle、Intel这些巨头每年的研发费有多少多少，我们的投入连个零头都不到，当然做不出什么象样的东西了。看起来还真是，似乎还要再加大投入才行？我不懂芯片的事，不知道是不是需要花很多钱才能建出基本的实验生产环境，但软件的研发成本还是比较熟悉的。在我...
0
推荐
1318
阅读
国产操作系统还能怎么做？
一家之言，开个脑洞。操作系统在市场上的关键点，并不在于进程管理、文件系统这些看起来很核心的东西，这些东西真地可以抄（借鉴一下没关系的）。操作系统要普及成功，关键在于上面开发技术的方便性，也就是开发工具的易用性以及API的丰富性。开发工具就是操作系统的用户界面，决定了用户体验；下层核心是为上层API服务...
1
推荐
1251
阅读
国产数据库通通都没戏！
这标题摆明了就是招人骂，一下子把国内做数据库的同行们都得罪了，甚至连自己都没落下（我也算做数据库的，而且当然也是国产的）。这观点已经有N年了，而且也多次讲过。这次正好有个热点来蹭，就把它写出来。既然蹭热点嘛，那就不怕标题党了。不过，还是要先澄清一下，这里说的“没戏”，并不是说国内厂商做不出一个可用的...