0
推荐
1500
阅读
基于Hadoop的云盘系统客户端技术难点之二 HDFS文件访问控制
一、概述 Hadoop开源技术框架在实际业务应用中，其早期的安全机制饱受诟病，具体到HDFS应用方面的问题，主要包括以下几个方面： 1.用户到服务器的认证问题 （1）Namenode上没有用户认证：用户只要知道NameNode服务地址和端口信息，就可以访问HDFS，并获取文件namespace信息。 （2）Datanode上没有认证机制：Data...
0
推荐
1562
阅读
基于Hadoop的云盘系统客户端技术难点之一 上传和下载效率优化
一、概述 基于任何平台实现的云盘系统，面临的首要的技术问题就是客户端上传和下载效率优化问题。基于Hadoop实现的云盘系统，受到Hadoop文件读写机制的影响，采用Hadoop提供的API进行HDFS文件系统访问，文件读取时默认是顺序、逐block读取；写入时是顺序写入。二、读写机制 首先来看文件读取机制：尽管DataNode实...
0
推荐
1410
阅读
基于Hadoop的云盘系统客户端技术选型说明
伴随云计算技术的发展，云盘系统不断涌现，百度、360、金山等都推出了各自的云盘产品，而云盘存储的模式也越来越被用户所接受，也有越来越多的公司跃跃欲试，想在云存储领域大展拳脚，有一番作为。但是开源Hadoop平台实现语言Java和操作系统Linux的限制，Windows用户桌面版云盘客户端的开发成为了一道不可逾越的屏障。...
1
推荐
1844
阅读
大数据应用（九）-金融行业-互联网金融对传统银行业的冲击，狼真的来了
一、背景资料 2013年6月13日，余额宝面世，截止3季度末，余额宝已经吸纳资金556.53亿元，实际用户1367.88万户，11月11日当天即时收益率4.8250%。10月28日，“百度金融中心——理财“平台支持的华夏基金上线，由于网民对其高年化收益的期待，不到4小时内即抢购10亿元。10月31日，百度理财平台支持的第二款产品“百赚”持续火...
0
推荐
2256
阅读
大数据应用（八）-HBase数据插入性能优化之多线程并行插入测试案例
一、引言 上篇文章提起关于HBase插入性能优化设计到的五个参数，从参数配置的角度给大家提供了一个性能测试环境的实验代码。根据网友的反馈，基于单线程的模式实现的数据插入毕竟有限。通过个人实测，在我的虚拟机环境下，单线程插入数据的值约为4w/s。集群指标是：CPU双核1.83，虚拟机512M内存，集群部署单点模式。...
0
推荐
2231
阅读
大数据应用（七）-HBase数据插入性能优化实测教程
引言： 大家在使用HBase的过程中，总是面临性能优化的问题，本文从HBase客户端参数设置的角度，研究HBase客户端数据批量插入性能优化的问题。事实胜于雄辩，数据比理论更有说服力，基于此，作者设计了这么一个HBase数据插入性能优化实测实验，希望大家用自己的服务器跑出的结果，给自己一个值得信服的结论。一、客户...
1
推荐
2196
阅读
大数据应用（六）-MongoDB从入门到精通你不得不知的21个为什么？
一、引言： 互联网的发展和电子商务平台的崛起，催生了大数据时代的来临，作为大数据典型开发框架的MongoDB成为了No-sql数据库的典型代表。MongoDB从入门到精通你不得不知的21个为什么专为大数据时代，大数据应用系统系统分析、架构设计和平台开发人员而准备。希望能够为大家起到提纲挈领，指明大家学习目标和方向的...
0
推荐
1623
阅读
大数据应用日志采集（二）-Scribe演示实例完全解析
引子： Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案。当中央存储系统的网络或者机器出现故障...
0
推荐
1936
阅读
大数据应用日志采集（一）-Scribe 安装配置指南
1.概述Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能从各种日志源收集日志，存储到一个中央存储系统上，便于进行集中统计分析处理。它为日志的”分布式收集，统一处理”提供了一个可扩展的，高容错的方案。scribe代码很简单，但是安装配置却很复杂，本文记录了作者实际的一次安装的过程，...
1
推荐
1628
阅读
大数据应用（四）-Windows平台Hbase客户端Eclipse环境搭建-Java版
引子 大数据的场景下，NoSql型数据库的优势不言而喻，但是涉及NoSQL数据库的实际动手开发的东西多是Linux平台，大多语焉不详，至于Windows平台介绍的东西就更少了，而且大多无法运行。本文就Windows平台基于Eclipse搭建Hbase环境客户端开发环境做一个介绍。另外基于Thrift实现的Windows版本Hbase客户端库也做了封装，...
0
推荐
1673
阅读
大数据应用（三）-双色球算奖平台总体设计历史数据存储篇
1.1 引子：文件OR数据库 历史期次的双色球选注数据的存储，采用什么样的格式比较好呢？这需要重点从三个方面考虑，一、文件访问方便吗？二、文件服务器空间够用吗？三、软硬件故障环境下，如何保障数据的可用性。基于这几个方面的考虑，到底是采用文件存储还是采用数据库存储呢？本文，从传统和前沿技术两个角度给出...
1
推荐
1987
阅读
大数据应用（二）-双色球算奖平台总体设计数据规模估算篇
引子：什么才算大数据？ 自从写了上一篇大数据应用（一）-双色球算奖平台总体设计大纲篇，受到许多小伙伴们的关注和指导，在此表示感谢，尤其是其中一个小伙伴给出的一个评论，让我深思，原文如下“双色球算奖这么简单的活，也称大数据。先生：不是数据多，叫大数据。双色球算奖，用Oracle数据库的索引，1分钟内就算完...
0
推荐
1575
阅读
大数据应用（一）-双色球算奖平台总体设计大纲篇
引子：双色球延期开奖，你Hold住了吗 福利彩票走进百姓生活，每期的500w大奖吸引了千万彩民的眼球和关注，备受争议的双色球延期开奖也成了争议的焦点，成为继12306之后，又一个站在风口浪尖的悲催儿。黑幕说，红会说，各种说甚嚣尘上。IT人只做技术事，至于类似美美卡里究竟几个零，一套内衣值几多银子的问题，还是交...
2
推荐
2383
阅读
项目管理之道（9）项目经理的自我修养
引子 还记得曾经看过的《喜剧之王》么？还记的那曾经经典的台词么：“我不是死跑龙套的”，“人如果没有理想，和咸鱼又有什么区别呢？”。还记得那本《演员的自我修养》么？在这里，我将给大家奉上《项目经理的自我修养》，但愿它能成为激励你前进的力量。一 沉稳 （1）不要随便显露你的情绪。&nbs...
0
推荐
2013
阅读
大数据工具篇（二）-Hive与HBase整合完整教程
一、引言 最近的一次培训，用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase，关于这部分基于HBase Java API的写入方式，之前曾经有过技术文章共享，本文就不再说明。本文基于Hive执行HDFS批量向HBase导入数据，讲解Hive与HBase的整合问题。这方面的文章已经很多，但是由于版本差异，可操作性不大，本文...