Congos+Hive项目记录(一)

浏览: 2664

大数据现在已经成为企业牛逼的标配,hadoop成为了这个标配的代名词。现把日常点滴记录:

一、使用jdbc方式连接cognos和hive,参考:

https://ask.hellobi.com/blog/hql15/3572

二、使用odbc方式连接

步骤如下:

1、安装基于hive的odbc驱动(64和32都装,cognos最后只会用32bit(64和32)),最好重启下电脑;

2、然后进如C:\Windows\SysWOW64目录配置基于系统用户的dns;



3、hive1选择Inceptor1,hive2选择Inceptor2,点击测试,ok



4、配置cognos odbc连接


5、配置对应dns名字



6、点击测试,ok

三、inceptor资源分配问题

错误,Inceptor出现warning:



问题分析(资源不够,调整资源):

在yarn下查看下面两个配置



结果:


分配给dn2的core是12,查看Inceptor资源配置:


可以看出每个节点要启动一个excutor (占用12*0.5 core, 内存:12*0.5*0.5) .如果你安装了两个inceptor ,每个节点上面要启动两个executor 分别给inceptor 执行sql 使用。 memory 是够的,但是cpu 就不够了 

所以要不关掉不用组建,要不修改Inceptor配置

四、Cognos Administor 数据源新建测试成功,但FM运行元数据向导报错


这个是FM查询模式引起的

推荐 3
本文由 华青莲 创作,采用 知识共享署名-相同方式共享 3.0 中国大陆许可协议 进行许可。
转载、引用前需联系作者,并署名作者且注明文章出处。
本站文章版权归原作者及原出处所有 。内容为作者个人观点, 并不代表本站赞同其观点和对其真实性负责。本站是一个个人学习交流的平台,并不用于任何商业目的,如果有任何问题,请及时联系我们,我们将根据著作权人的要求,立即更正或者删除有关内容。本站拥有对此声明的最终解释权。

8 个评论

注意,该教程仅仅能在星环大数据平台实现。
对,你们在用吗,我们可以相互交流
Cognos跑HIVE的Query,性能怎么样? Cognos通常都是跑相对规模比较小的,但concurrent比较多的查询,这种SQL是不是HIVE上跑的不溜?
现在是用hive里的一种内存机制,把表放到内存中跑,这个比较快点,或者cognos现在不让他做计算,只从hive中取汇总好的数据,然后直接展现!
那用hive也没啥用啊,in memory计算是它的弱项,并且它的体系架构,如果in mem跑多并发基本就跑不了几个查询。。。
哦,我们现在换在尝试阶段,整个是用星环的inceptor技术,然后建立内存表,基于内存、ram、ssd等,然后再建立分区、分桶,这样来弄!
嗯,小查询感觉还是挪出来好
嗯,后续先看看坑大小,/·_>\

要回复文章请先登录注册