1
推荐
2815
阅读

ZooKeeper实现分布式FIFO队列

前言ZooKeeper是一个强大的分布式协作系统,用ZooKeeper可以方便地实现先进先出(FIFO)队列。给“队列”的技术现实多一种选择,标准化我们的程序结构。另一篇,分步式同步队列实现,请参考:ZooKeeper实现分布式队列Queue关于ZooKeeper的基本使用,请参考:ZooKeeper伪分步式集群安装及使用目录分布式先进先出(FIFO)队列设...

发表了文章 • 2017-04-28 14:35 • 0 条评论

1
推荐
2052
阅读

ZooKeeper实现分布式队列Queue

前言ZooKeeper是一个分步式的协作系统,何为协作,ZooKeeper价值又有何体现。通过这篇文章的分布式队列的案例,你将了解到ZooKeeper的强大。关于ZooKeeper的基本使用,请参考:ZooKeeper伪分步式集群安装及使用目录分布式队列设计思路程序实现1. 分布式队列队列有很多种产品,大都是消息系统所实现的,像ActiveMQ,JBossM...

发表了文章 • 2017-04-28 14:31 • 0 条评论

1
推荐
2350
阅读

ZooKeeper伪分步式集群安装及使用

前言ZooKeeper是Hadoop家族的一款高性能的分布式协作的产品。在单机中,系统协作大都是进程级的操作。分布式系统中,服务协作都是跨服务器才能完成的。在ZooKeeper之前,我们对于协作服务大都使用消息中间件,随着分布式系统的普及,用消息中间件完成协作,会有大量的程序开发。ZooKeeper直接面向于分布式系统,可以减少...

发表了文章 • 2017-04-28 14:28 • 0 条评论

1
推荐
2080
阅读

Hive导入10G数据的测试

前言Hadoop和Hive的环境已经搭建起来了,开始导入数据进行测试。我的数据1G大概对应500W行,MySQL的查询500W行大概3.29秒,用hive同样的查询大概30秒。如果我们把数据增加到10G,100G,让我们来看看Hive的表现吧。目录导出MySQL数据导入到Hive优化导入过程Hive Bucket执行查询1. 导出MySQL数据下面是我的表,每天会产生...

发表了文章 • 2017-04-28 14:22 • 0 条评论

1
推荐
1949
阅读

让Hadoop跑在云端系列文章 之 增加删除hadoop节点

前言让Hadoop跑在云端系列文章,经过前面几篇文章的介绍,我们已经可以创建并管理虚拟机,增加hadoop节点。本文只是把操作过程整理一下,做一个操作总结,让没有计算机背景的同学,也可以进行操作。目录增加克隆体hadoop节点c6删除c6节点实现脚本 1. 增加克隆体hadoop节点c61. 登陆host主机,查检c6.wtmat.com域名...

发表了文章 • 2017-04-27 16:13 • 0 条评论

2
推荐
2016
阅读

让Hadoop跑在云端系列文章 之 克隆虚拟机优化方案1-安装和配置

前言把虚拟化的hadoop环境创建好之后,我们就要考虑如何对系统进行优化了。从运维的角度,我找到了4个优化的出发点,安装,配置,监控,管理。为了完成1个人管理1000节点的目标,点滴的优化,都是未来成功的基石。我在努力着。。。 目录对系统优化简单分析优化问题1:c1作为母体每次克隆时要停机。优化问题2:手动...

发表了文章 • 2017-04-27 15:47 • 0 条评论

1
推荐
1994
阅读

让Hadoop跑在云端系列文章 之 克隆虚拟机增加Hadoop节点

前言通过虚拟化技术,我们可轻松的增加或删除一台虚拟机。像hadoop技术,安装,配置,运维,管理都很复杂,如果能通过虚拟化技术,降低运维成本,是多么开心的一件事啊!设想一下,如果一个人能够管理1000个hadoop节点,那么小型公司也可以随随便便构建像百度,阿里一样的强大的计算集群环境。世界也许会更奇妙!当然,...

发表了文章 • 2017-04-27 15:43 • 0 条评论

1
推荐
2114
阅读

让Hadoop跑在云端系列文章 之 创建Hadoop母体虚拟机

前言通过虚拟化技术,我们可轻松的增加或删除一台虚拟机。结合hadoop技术,我们需要先创建一台配置好hadoop环境虚拟机,作为克隆的母体。非虚拟化安装Hadoop集群,请参考:RHadoop实践系列之一:Hadoop环境搭建目录HOST系统环境虚拟机资源分配策略创建Hadoop母体虚拟机配置Hadoop环境1. HOST系统环境关于虚拟化的基础知识...

发表了文章 • 2017-04-26 13:20 • 0 条评论

4
推荐
2837
阅读

Hive安装及使用攻略

让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务。现在硬件越来越便宜,一台非品牌服务器,2颗24核CPU,配48G内存,2T的硬盘,已经降到2万块人民币以下了。这种配置如果简单地放几个web应用,显然是奢侈的浪费。就算是用来实现单节点的hadoo...

发表了文章 • 2016-04-05 19:47 • 2 条评论