0
推荐
2058
阅读

Hadoop专业解决方案(12)-为Hadoop应用构建企业级的安全解决方案

一、前言:  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,春节期间,项目进度有所延迟,不过元宵节以后大家已经步入正轨, 目前第12章 为Hadoop应用构建企业级的安全解决方案已经翻译完成,在此对:译者:杨有鹏 不莱梅狗  78280847 表示感谢。二、意见征集:  本章节...

发表了文章 • 2016-03-27 17:13 • 0 条评论

0
推荐
1748
阅读

Hadoop专业解决方案之翻译原书

《Wrox.Professional.Hadoop.Solutions》中文目录全稿前言最近有朋友给推荐一本书,英文原版《Wrox.Professional.Hadoop.Solutions》,感觉很好打算翻译成中文,共享给朋友,时间关系,不知能否成行,先干着吧。以下部分是本书的目录,算是一个开始,至于何时能够成稿,且干着吧,毕竟最近不是一般的忙。关于中文名称,...

发表了文章 • 2016-03-27 16:52 • 0 条评论

0
推荐
1790
阅读

Hadoop专业解决方案(5)-开发可靠的MapReduce应用

本章主要内容:1、利用MRUnit创建MapReduce的单元测试。2、MapReduce应用的本地实例。3、理解MapReduce的调试。4、利用MapReduce防御式程序设计。在WOX.COM下载本章源代码本章在wox.com网站的源码可以在www.wiley.com/go/prohadoopsolutions的源码下载标签找到。第五章的源码根据本章的内容各自分别命名放在了第五章下载...

发表了文章 • 2016-03-27 16:45 • 0 条评论

1
推荐
3133
阅读

Hadoop专业解决方案(3)-MapReduce处理数据

前言:非常感谢团队的努力,最新的章节终于有了成果,因为自己的懒惰,好久没有最新的进展了,感谢群里兄弟的努力。本章主要内容:★理解MapReduce基本原理★了解MapReduce应用的执行★理解MapReduce应用的设计截止到目前,我们已经知道Hadoop如何存储数据,但Hadoop不仅仅是一个高可用的,规模巨大的数据存储引擎,它的另...

发表了文章 • 2016-03-24 21:41 • 0 条评论

1
推荐
2625
阅读

Hadoop专业解决方案(1)-大数据和Hadoop生态圈

一、前言:  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在此对:译者:贾艳成 QQ:496830205 表示感谢。二、意见征集:  本章节由《Hadoop专业解决方案群:313702010》翻译小组完成,为...

发表了文章 • 2016-03-23 22:35 • 0 条评论

0
推荐
1653
阅读

Hadoop专业解决方案(13)-Hadoop的发展趋势

一、前言:  非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第13章 Hadoop的发展趋势小组已经翻译完成,在此对:hbase-深圳-18361、旅人AQUARION表示感谢。二、意见征集:  本章节由《Hadoop专业解决方案群:313702010》翻译小组完成,为...

发表了文章 • 2016-03-23 22:28 • 0 条评论

0
推荐
1608
阅读

Hadoop专业解决方案之构建Hadoop企业级应用

一、大数据的挑战  大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因为一下原因:  1.传统应用的基础设施是基于传统数据库访问模式设计的,它不支持Hadoop;  2.数据存储在Hadoop之上,实时访问集群中部分数据是可行的;  3.H...

发表了文章 • 2016-03-23 22:22 • 0 条评论

0
推荐
1819
阅读

一张图测试你的Hadoop能力-Hadoop能力测试图谱

1.引言  看到一张图,关于Hadoop技术框架的图,基本上涉及到Hadoop当前应用的主要领域,感觉可以作为测试Hadoop开发人员当前能力和水平的比较好的一个工具,特此分享给大家。如果你能够明白说出每一个技术框架的功能、应用场景和设计架构,那么恭喜你,已经正式步入Hadoop应用开发的世界了。2.Hadoop菜鸟入门测试3.评...

发表了文章 • 2016-03-23 22:18 • 0 条评论

0
推荐
1521
阅读

基于Hadoop开发网络云盘系统(二)-客户端界面设计初稿

前言:  本文是《基于Hadoop开发网络云盘系统(一)-架构设计方案》的第二篇,针对界面原型原本考虑有两个方案:1、类windows模式,文件夹、文件方式,操作习惯完全按照Windows方式进行,提供右键菜单管理命令。2.浏览列表式,提供常规界面按钮式命令。本文采用的方式是文件清单列表式,至于第一种方式,另列专题进行...

发表了文章 • 2016-03-23 20:53 • 0 条评论

0
推荐
2630
阅读

基于Hadoop开发网络云盘系统(一)-架构设计方案

引言  云计算技术的发展,各种网络云盘技术如雨后春笋,层出不穷,百度、新浪、网易都推出了自己的云盘系统,本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统,方案为初步设计方案,不断完善中。一、总体架构二、方案说明2.1 系统切分  从用户角度,整个系统划分为ECDisk客户端、ECDisk运营管理平台、HDFS...

发表了文章 • 2016-03-23 20:49 • 0 条评论

0
推荐
1684
阅读

基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化

一、概述首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制和框架结构,每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中,通常占用150个字节。如果有1千万个文件,就需要消耗大约3G的内存空...

发表了文章 • 2016-03-23 20:41 • 0 条评论

0
推荐
1481
阅读

基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制

一、概述   Hadoop开源技术框架在实际业务应用中,其早期的安全机制饱受诟病,具体到HDFS应用方面的问题,主要包括以下几个方面: 1.用户到服务器的认证问题 (1)Namenode上没有用户认证:用户只要知道NameNode服务地址和端口信息,就可以访问HDFS,并获取文件namespace信息。 (2)Datanode上没有认证机制:Data...

发表了文章 • 2016-03-23 20:38 • 0 条评论

0
推荐
1549
阅读

基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化

一、概述  基于任何平台实现的云盘系统,面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统,受到Hadoop文件读写机制的影响,采用Hadoop提供的API进行HDFS文件系统访问,文件读取时默认是顺序、逐block读取;写入时是顺序写入。二、读写机制  首先来看文件读取机制:尽管DataNode实...

发表了文章 • 2016-03-23 20:36 • 0 条评论

0
推荐
1400
阅读

基于Hadoop的云盘系统客户端技术选型说明

 伴随云计算技术的发展,云盘系统不断涌现,百度、360、金山等都推出了各自的云盘产品,而云盘存储的模式也越来越被用户所接受,也有越来越多的公司跃跃欲试,想在云存储领域大展拳脚,有一番作为。但是开源Hadoop平台实现语言Java和操作系统Linux的限制,Windows用户桌面版云盘客户端的开发成为了一道不可逾越的屏障。...

发表了文章 • 2016-03-23 20:34 • 0 条评论