2
推荐
2861
阅读
在AWS上部署免费的Shiny应用
前言无意中发现了AWS的提供免费的服务器资源，必须要大赞一下，写篇文章大大的推广。Shiny是R语言中一个神级的应用，唯一的缺点就是不支持并发。所以，我们很多时候都是做本地Shiny应用，用于展示各种报表的效果。但有时候也需要把报表上传到互联网上，其他人也能看到。这样就需要一个互联网的解决方案，刚好AWS有了免费...
3
推荐
3945
阅读
用R语言开始量化投资
前言做数据分析的朋友，一定知道R语言。R语言是一门统计语言，在数据分析领域优势是非常明显的。金融本身是玩数据行业，R的最大的优势就是数据分析，所以把R语言与金融结合，用R来做量化投资的策略，真的很配，不仅顺手而且方便，用了你就会知道。本文以“用R语言开始量化投资”做为新书《R的极客理想-量化投资篇》的开篇...
1
推荐
2379
阅读
MongoDB 自动分片 auto sharding
第三篇 MongoDB 自动分片 auto sharding，分为6个部分初始化文件目录启动shard节点配置shard节点插入数据分片实验删除主分片重置主分片系统环境介绍：Ubuntu 12.04. LTS 64bit Server1. 初始化文件目录创建目录config1,config2,config3是配置节点shard1,shard2,shard3是分片节点~ pwd/home/conan/dbs~ mkdir config1 con...
1
推荐
2076
阅读
MongoDB 副本集自动复制 Replica Set
第二篇 MongoDB 副本集自动复制 Replica Set，分为7个部分初始化文件目录启动副本集 Replica Set模拟 PRIMARY失败，SECONDARY自动切换修复失败节点恢复失败节点，补充到SECONDARY删除一个Replica Set节点新增加一个Replica Set节点系统环境介绍：Ubuntu 12.04. LTS 64bit Server 初始化文件目录~ pwd/home/con...
1
推荐
2004
阅读
MongoDB主从复制实验 master/slave
第一篇 MongoDB主从复制实验 master/slave，分为5个部分初始化文件目录启动master启动slave向master插入数据测试在slave中查询数据系统环境介绍：Ubuntu 12.04. LTS 64bit Server简单安装MongoDB在source.list文件中，增加10gen的源~ vi /etc/apt/source.listdeb http://downloads-distro.mongodb.org/repo/ubuntu-upsta...
1
推荐
2018
阅读
在Ubuntu中安装MongoDB
前言MongoDB作为一种文档型的NoSQL数据库，使用起来非常灵活，回避了关系型数据库前期的复杂数据库设计。MongoDB存储基于JSON格式，同时用Javascript做为数据库操作语言，给了使用者无限想象的空间，可以通过编程在MongoDB服务器中解决非常复杂的条件查询的问题。目录MongoDB在Windows中安装MongoDB在Linux Ubuntu中安装...
1
推荐
2814
阅读
ZooKeeper实现分布式FIFO队列
前言ZooKeeper是一个强大的分布式协作系统，用ZooKeeper可以方便地实现先进先出(FIFO)队列。给“队列”的技术现实多一种选择，标准化我们的程序结构。另一篇，分步式同步队列实现，请参考：ZooKeeper实现分布式队列Queue关于ZooKeeper的基本使用，请参考：ZooKeeper伪分步式集群安装及使用目录分布式先进先出(FIFO)队列设...
1
推荐
2050
阅读
ZooKeeper实现分布式队列Queue
前言ZooKeeper是一个分步式的协作系统，何为协作，ZooKeeper价值又有何体现。通过这篇文章的分布式队列的案例，你将了解到ZooKeeper的强大。关于ZooKeeper的基本使用，请参考：ZooKeeper伪分步式集群安装及使用目录分布式队列设计思路程序实现1. 分布式队列队列有很多种产品，大都是消息系统所实现的，像ActiveMQ,JBossM...
1
推荐
2347
阅读
ZooKeeper伪分步式集群安装及使用
前言ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中，系统协作大都是进程级的操作。分布式系统中，服务协作都是跨服务器才能完成的。在ZooKeeper之前，我们对于协作服务大都使用消息中间件，随着分布式系统的普及，用消息中间件完成协作，会有大量的程序开发。ZooKeeper直接面向于分布式系统，可以减少...
1
推荐
2080
阅读
Hive导入10G数据的测试
前言Hadoop和Hive的环境已经搭建起来了，开始导入数据进行测试。我的数据1G大概对应500W行，MySQL的查询500W行大概3.29秒，用hive同样的查询大概30秒。如果我们把数据增加到10G，100G，让我们来看看Hive的表现吧。目录导出MySQL数据导入到Hive优化导入过程Hive Bucket执行查询1. 导出MySQL数据下面是我的表，每天会产生...
1
推荐
1949
阅读
让Hadoop跑在云端系列文章 之 增加删除hadoop节点
前言让Hadoop跑在云端系列文章，经过前面几篇文章的介绍，我们已经可以创建并管理虚拟机，增加hadoop节点。本文只是把操作过程整理一下，做一个操作总结，让没有计算机背景的同学，也可以进行操作。目录增加克隆体hadoop节点c6删除c6节点实现脚本 1. 增加克隆体hadoop节点c61. 登陆host主机，查检c6.wtmat.com域名...
2
推荐
2015
阅读
让Hadoop跑在云端系列文章 之 克隆虚拟机优化方案1-安装和配置
前言把虚拟化的hadoop环境创建好之后，我们就要考虑如何对系统进行优化了。从运维的角度，我找到了4个优化的出发点，安装，配置，监控，管理。为了完成1个人管理1000节点的目标，点滴的优化，都是未来成功的基石。我在努力着。。。 目录对系统优化简单分析优化问题1：c1作为母体每次克隆时要停机。优化问题2：手动...
1
推荐
1992
阅读
让Hadoop跑在云端系列文章 之 克隆虚拟机增加Hadoop节点
前言通过虚拟化技术，我们可轻松的增加或删除一台虚拟机。像hadoop技术，安装，配置，运维，管理都很复杂，如果能通过虚拟化技术，降低运维成本，是多么开心的一件事啊！设想一下，如果一个人能够管理1000个hadoop节点，那么小型公司也可以随随便便构建像百度，阿里一样的强大的计算集群环境。世界也许会更奇妙！当然，...
1
推荐
2114
阅读
让Hadoop跑在云端系列文章 之 创建Hadoop母体虚拟机
前言通过虚拟化技术，我们可轻松的增加或删除一台虚拟机。结合hadoop技术，我们需要先创建一台配置好hadoop环境虚拟机，作为克隆的母体。非虚拟化安装Hadoop集群，请参考：RHadoop实践系列之一:Hadoop环境搭建目录HOST系统环境虚拟机资源分配策略创建Hadoop母体虚拟机配置Hadoop环境1. HOST系统环境关于虚拟化的基础知识...
2
推荐
2739
阅读
Neo4j集群安装实践
目录Neo4j简介Neo4j单机安装创建一个简单的社交关系图Neo4j集群安装HA1. Neo4j简介Neo4j是一个用Java实现的、高性能的、NoSQL图形数据库。Neo4j 使用图（graph）相关的概念来描述数据模型，通过图中的节点和节点的关系来建模。Neo4j完全兼容ACID的事务性。Neo4j以“节点空间”来表达领域数据，相对于传统的关系型数据库的...