1
推荐
2277
阅读
Rhadoop相关记录汇总
Rhadoop相关记录汇总一、安装r参考http://blog.itpub.net/21711990/viewspace-1114418/1）解压：tar xzf R-3.0.02）cd R-3.0.03）Mkdir /dwbi/dwbi/R-3.0.04）预先安装如下环境插件yum -y install gcc yum install glibc-headers yum install gcc-c++ yum install gcc-gfortran &...
3
推荐
1647
阅读
FineReport访问hive数据
版本信息：FineReport8， hive0.12.0连接步骤如下；1、拷贝集群hive jdbc驱动到lib/ 和WebReport/WEB-INF/lib/目录下2、从hive2节点拷贝hive-exec-0.12.0.jar、hive-jdbc_0.12.0.jar、hive-metastore_0.12.0.jar、hive-service_0.12.0.jar、libfb303.jar、log4j.jar、ST4-4.0.4.jar到WebReport/WEB-INF...
0
推荐
2101
阅读
kettle访问hdfs错误汇总-2
使用目的：通过访问hadoop数据(hive、hdfs)，实现大数据访问及kettle可视化数据处理上篇：https://ask.hellobi.com/blog/hql15/97131、hive分桶分桶字段：依据是首先要分布均匀，也就是做hash的时候能够每个桶的数据量差不多，然后做关联的时候经常使用到的字段。 （注分桶字段不可以更新）2、kettle访问hive数据表输入...
1
推荐
2569
阅读
kettle访问hdfs错误汇总-1
使用目的：通过访问hadoop数据(hive、hdfs)，实现大数据访问及kettle可视化数据处理一、相关环境配置及查看1、sqoop安装命令安装：yum install sqoop相关函数：yum info sqoop、yum help、yum remove sqoop管理界面安装：选择集群名字右侧服务，然后选择sqoop服务（建议安装在inceptor以外的一个节点）2、hdfs目录hdfs d...
3
推荐
10872
阅读
kettle+hive使用心得之Hadoop File Output
kettle作为etl工具同步数据到hive，直接使用表输出或者插入更新组件出现速度秒级一条的尴尬，为了解决这种输出端数据同步瓶颈及缓解给领导交代的窘态，在项目中使用了Hadoop File Output组件，流程如下：一、连接hadoop配置1、点击kettle big data 配置文件2、修改active.hadoop.configuration值为hdp47（对应与下...
1
推荐
1622
阅读
Orcle->HDFS->HIVE
#!/bin/bash# set the variableORA_NAME="ylyp"ORA_PASSWORD="oracle"ORA_CONNECTOR="jdbc:oracle:thin:@//192.100.10.1:1521/jgyw"#receive the paramTABLE_NAME=$1BEGIN_DATE=$2END_DATE=$3#inceptor db nameINCEPTOR_DBNAME="dwbi"INCEPTOR_SERVER="jdbc:hive2://192.100.1.1:10000/dwbi"#sqoop -> hdfs dirHDFS_U...
3
推荐
2693
阅读
Congos+Hive项目记录（一）
大数据现在已经成为企业牛逼的标配，hadoop成为了这个标配的代名词。现把日常点滴记录：一、使用jdbc方式连接cognos和hive，参考：https://ask.hellobi.com/blog/hql15/3572二、使用odbc方式连接步骤如下：1、安装基于hive的odbc驱动（64和32都装，cognos最后只会用32bit（64和32）），最好重启下电脑；2、然后进如C:\Wi...
0
推荐
2163
阅读
Sqoop把oracle表建如Hive
俗话说好记性不如烂笔头(汉语)，物覚えは爛(日语)，The palest ink is better than the best memory. (English)使用Sqoop把Oracle表数据导入hive，再用cognos连接hive做数据访问1、安装Sqoopyum install sqoop2、出现错误Warning: /usr/lib/sqoop/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCA...
2
推荐
3932
阅读
Cognos连接Hive（TDH版）
前沿，因公司数据量较大，cognos访问oracle数据库，报表展现速度很蜗牛，所以觉得用Hive做仓库，使用TDH的Inceptor内存技术，加快报表查询性能<_/\_>Cognos对Hive版本要求很严格：Cognos BI 10.2.1 supports Hive versions 0.8, 0.9, 0.11 and 0.12 as of Fix Pack 3.Hive 0.8 and 0.9 are supported through...
2
推荐
5450
阅读
查看hdfs仓库文件时出现Permission denied
问题：在hdfs上运行hdfs dfs -ls /inceptorsql1/user/hive/warehouse出现如下错误：ls: Permission denied: user=root, access=READ_EXECUTE, inode="/inceptorsql1/user/hive/warehouse":hive:hadoop:drwx--x--x1、修改权限hdfs dfs -chmod 777 /inceptorsql1/user/hive/warehouse出现错误：chmod: changing permission...
0
推荐
2314
阅读
ideaij scala example
1、sh /usr/intellijIDEA/idea-IC-141.3056.4/bin/idea.sh选择新建project2、新建project name，并配置相关sdkproject sdk：/usr/java/latest/scala sdk：/usr/lib/scala/lib3、点击finish，选择project structure->model，在src下新建main和scr 源目录4、点击library， 新建sacla sdk，选择lib（/usr/lib/scala...
1
推荐
1941
阅读
TDH4.2安装流程
1、在管理界面停掉所有的服务（包括许可证服务，页面上都可以停）2、在命令行里停掉transwarp-manager 和transwarp-agent 都停了以后，用jps看一下/etc/init.d下面的./transwarp-manager stop./transwarp-manager-agent stop 把其余节点的上述进程也杀掉 3、然后安装包里运行uninstall 注意：要...
0
推荐
1869
阅读
Intellij IDEA配置
1、进入spark运行环境/usr/bin/spark-shell运行出现界面scala的版本时2.10.42、运行idea界面sh /usr/intellijIDEA/idea-IC-141.3056.4/bin/idea.sh3、点击configure->plugin4、因为集群没法联网，所以选择 install plugin from disk下载scala-intlellij-bin 版本要和集群一致参考资料：http://wwwlouxuemingcom.blog....
0
推荐
1981
阅读
linux网络配置及jdk基本配置
1、临时关闭防火墙service iptables stop 2、永久关闭防火墙chkconfig iptables off3、关闭selinuxvim /etc/sysconfig/selinux修改 selinux=enforcing 为selinux=disabled4、配置主机ip点击network connect，输入ip信息重启网卡:service network restart5、配置主机名vim /etc/sysconfig/network设置hostname=hql6...
0
推荐
2520
阅读
基于HDFS的数据建inceptor表
1、进入装有 inceptorservice 角色的节点transwarp –t –h localhost，如果当前节点不是inceptor节点，则可以把localhost换为inceptor节点的ip，在inceptor中的语句不区分大小写。2、查看可用database：showdatabases;3、系统默认database为default;4、根据实际情况进去要操作的database:use databasename（当前测试建立...