0
推荐
1764
阅读
Hadoop专业解决方案之翻译原书
《Wrox.Professional.Hadoop.Solutions》中文目录全稿前言最近有朋友给推荐一本书，英文原版《Wrox.Professional.Hadoop.Solutions》，感觉很好打算翻译成中文，共享给朋友，时间关系，不知能否成行，先干着吧。以下部分是本书的目录，算是一个开始，至于何时能够成稿，且干着吧，毕竟最近不是一般的忙。关于中文名称，...
0
推荐
1827
阅读
Hadoop专业解决方案（5）-开发可靠的MapReduce应用
本章主要内容：1、利用MRUnit创建MapReduce的单元测试。2、MapReduce应用的本地实例。3、理解MapReduce的调试。4、利用MapReduce防御式程序设计。在WOX.COM下载本章源代码本章在wox.com网站的源码可以在www.wiley.com/go/prohadoopsolutions的源码下载标签找到。第五章的源码根据本章的内容各自分别命名放在了第五章下载...
1
推荐
3145
阅读
Hadoop专业解决方案（3）-MapReduce处理数据
前言：非常感谢团队的努力，最新的章节终于有了成果，因为自己的懒惰，好久没有最新的进展了，感谢群里兄弟的努力。本章主要内容：★理解MapReduce基本原理★了解MapReduce应用的执行★理解MapReduce应用的设计截止到目前，我们已经知道Hadoop如何存储数据，但Hadoop不仅仅是一个高可用的，规模巨大的数据存储引擎，它的另...
0
推荐
1862
阅读
数据仓库专题22-网络用户行为数据采集标准规范设计
一、前言 网络用户行为数据采集的趋势渐成，尤其是移动应用普及的今天，不再只是传统的互联网公司的专宠，传统企业也是趋之若鹜。但是遗憾的却始终没有一个规范标准，全凭企业自发与自愿的到底底线来控制，数据立法尚未见曙光，无德者如支付宝，通讯录、短信已经不能满足他们的窥私欲，改而录音，偷拍种种，...
1
推荐
2694
阅读
Hadoop专业解决方案（1）-大数据和Hadoop生态圈
一、前言： 非常感谢Hadoop专业解决方案群：313702010，兄弟们的大力支持，在此说一声辛苦了，经过两周的努力，已经有啦初步的成果，目前第1章 大数据和Hadoop生态圈小组已经翻译完成，在此对：译者：贾艳成 QQ：496830205 表示感谢。二、意见征集： 本章节由《Hadoop专业解决方案群：313702010》翻译小组完成，为...
0
推荐
1663
阅读
Hadoop专业解决方案（13）-Hadoop的发展趋势
一、前言： 非常感谢Hadoop专业解决方案群：313702010，兄弟们的大力支持，在此说一声辛苦了，经过两周的努力，已经有啦初步的成果，目前第13章 Hadoop的发展趋势小组已经翻译完成，在此对：hbase-深圳-18361、旅人AQUARION表示感谢。二、意见征集： 本章节由《Hadoop专业解决方案群：313702010》翻译小组完成，为...
0
推荐
1620
阅读
Hadoop专业解决方案之构建Hadoop企业级应用
一、大数据的挑战 大数据面对挑战是你必须重新思考构建数据分析应用的方式。传统方式的应用构建是基于数据存储在不支持大数据处理的基础之上。这主要是因为一下原因： 1.传统应用的基础设施是基于传统数据库访问模式设计的，它不支持Hadoop； 2.数据存储在Hadoop之上，实时访问集群中部分数据是可行的； 3.H...
0
推荐
1826
阅读
一张图测试你的Hadoop能力-Hadoop能力测试图谱
1.引言 看到一张图，关于Hadoop技术框架的图，基本上涉及到Hadoop当前应用的主要领域，感觉可以作为测试Hadoop开发人员当前能力和水平的比较好的一个工具，特此分享给大家。如果你能够明白说出每一个技术框架的功能、应用场景和设计架构，那么恭喜你，已经正式步入Hadoop应用开发的世界了。2.Hadoop菜鸟入门测试3.评...
0
推荐
2061
阅读
Redis内存数据库操作命令详解
一、连接操作相关的命令 quit：关闭连接（connection） auth：简单密码认证二、对value操作的命令 exists(key)：确认一个key是否存在 del(key)：删除一个key type(key)：返回值的类型 keys(pattern)：返回满足给定pattern的所有key&nbs...
0
推荐
2085
阅读
Redis高速内存缓冲平台可视化监控之RedisLive配置实战
一、引用 这两天在弄Reids高速缓存平台的图形化监控，由于对于Python并不是很熟悉，安装过程中遇到了不少问题，包括： 1.python必备安装包的安装问题 2.Redis Live界面显示问题二、环境 REHL6.0 Python2.6三、安装必备 argparse==1.2.1 python-dateutil==1.5 redis （1.8.0） tornado==2.1.1...
0
推荐
2079
阅读
内存数据库应用之NBA篮球图文直播室存储设计（Redis版）
1.1 摘要上一篇《内存数据库应用之NBA篮球图文直播室存储设计（Memcached版） 》针对NBA篮球直播室的需求规格做了详细的介绍，其中存储设计是基于Memcached内存结构特点进行。本文针对相同的业务规则和需求，采用Redis实现相同的功能，只是存储结构发生了变化。考虑到介绍Redis的资料网上已经很多，本文不再重复介...
1
推荐
2505
阅读
内存数据库应用之NBA篮球图文直播室存储设计（Memcached版）
1.1 摘要 内存数据库适用于实时性访问要求很高的业务应用系统，尤其是实时数据直播报类系统，如篮球比赛图文直播室，足球比赛图文直播室等各类实时播放类的体育赛事。本文以NBA篮球比赛直播室后台内存数据的存储设计为业务切入点，以Memcached内存数据库为平台，详细介绍了内存数据库在实时业务应用的典型应用。1.2...
0
推荐
1537
阅读
基于Hadoop开发网络云盘系统（二）-客户端界面设计初稿
前言： 本文是《基于Hadoop开发网络云盘系统（一）-架构设计方案》的第二篇，针对界面原型原本考虑有两个方案：1、类windows模式，文件夹、文件方式，操作习惯完全按照Windows方式进行，提供右键菜单管理命令。2.浏览列表式，提供常规界面按钮式命令。本文采用的方式是文件清单列表式，至于第一种方式，另列专题进行...
0
推荐
2663
阅读
基于Hadoop开发网络云盘系统（一）-架构设计方案
引言 云计算技术的发展，各种网络云盘技术如雨后春笋，层出不穷，百度、新浪、网易都推出了自己的云盘系统，本文基于开源框架Hadoop设计实现了一套自己的网络云盘系统，方案为初步设计方案，不断完善中。一、总体架构二、方案说明2.1 系统切分 从用户角度，整个系统划分为ECDisk客户端、ECDisk运营管理平台、HDFS...
0
推荐
1709
阅读
基于Hadoop的云盘系统客户端技术难点之三 小文件存储优化
一、概述首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难，这取决于HDFS的实现机制和框架结构，每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中，通常占用150个字节。如果有1千万个文件，就需要消耗大约3G的内存空...