0
推荐
1329
阅读
DTW-动态时间归整
在孤立词语音识别中，最为简单有效的方法是采用DTW（Dynamic Time Warping，动态时间归整）算法，该算法基于动态规划（DP）的思想，解决了发音长短不一的模板匹配问题，是语音识别中出现较早、较为经典的一种算法，用于孤立词识别。HMM算法在训练阶段需要提供大量的语音数据，通过反复计算才...
1
推荐
1940
阅读
使用tensorflow的lstm对北京快三和值预测
通过tensorflow的lstm利用AI的思想把简单的问题复杂化（~\/~），预测北京快三的和值（其实就是A+B+C）<21111技术男。类似思想可以做多指标的回归预测。（重在思想和技术提升） 基础数据从mysql获取，如下： 完整代码如下：#python 使用pymysql########################...
1
推荐
2298
阅读
Rhadoop相关记录汇总
Rhadoop相关记录汇总一、安装r参考http://blog.itpub.net/21711990/viewspace-1114418/1）解压：tar xzf R-3.0.02）cd R-3.0.03）Mkdir /dwbi/dwbi/R-3.0.04）预先安装如下环境插件yum -y install gcc yum install glibc-headers yum install gcc-c++ yum install gcc-gfortran &...
3
推荐
1649
阅读
FineReport访问hive数据
版本信息：FineReport8， hive0.12.0连接步骤如下；1、拷贝集群hive jdbc驱动到lib/ 和WebReport/WEB-INF/lib/目录下2、从hive2节点拷贝hive-exec-0.12.0.jar、hive-jdbc_0.12.0.jar、hive-metastore_0.12.0.jar、hive-service_0.12.0.jar、libfb303.jar、log4j.jar、ST4-4.0.4.jar到WebReport/WEB-INF...
0
推荐
2102
阅读
kettle访问hdfs错误汇总-2
使用目的：通过访问hadoop数据(hive、hdfs)，实现大数据访问及kettle可视化数据处理上篇：https://ask.hellobi.com/blog/hql15/97131、hive分桶分桶字段：依据是首先要分布均匀，也就是做hash的时候能够每个桶的数据量差不多，然后做关联的时候经常使用到的字段。 （注分桶字段不可以更新）2、kettle访问hive数据表输入...
1
推荐
2574
阅读
kettle访问hdfs错误汇总-1
使用目的：通过访问hadoop数据(hive、hdfs)，实现大数据访问及kettle可视化数据处理一、相关环境配置及查看1、sqoop安装命令安装：yum install sqoop相关函数：yum info sqoop、yum help、yum remove sqoop管理界面安装：选择集群名字右侧服务，然后选择sqoop服务（建议安装在inceptor以外的一个节点）2、hdfs目录hdfs d...
3
推荐
10877
阅读
kettle+hive使用心得之Hadoop File Output
kettle作为etl工具同步数据到hive，直接使用表输出或者插入更新组件出现速度秒级一条的尴尬，为了解决这种输出端数据同步瓶颈及缓解给领导交代的窘态，在项目中使用了Hadoop File Output组件，流程如下：一、连接hadoop配置1、点击kettle big data 配置文件2、修改active.hadoop.configuration值为hdp47（对应与下...
2
推荐
2030
阅读
APRIORI实例
Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。下面做探索性事例：################################################################################
#########################APRIORI ALGORITHM#######################################
#...
3
推荐
4264
阅读
R实现地理位置与经纬度相互转换
本实例要实现目标通过输入城市名或者地名，然后找出其经度纬度值，以及通过可视化展现其线路流向以及周边地图展示本实例参考文章主要来自金大侠博客：http://user.qzone.qq.com/675229288/mainaddress_list数据：山西省太原市小店区亲贤北街77号贵州省贵阳市云岩区书香门第B栋3单元北京市通州区神树商业街168号贵州省贵...
2
推荐
2032
阅读
ARIMA交通流量预测
交通流量预测分析研究是智能运输系统的核心研究内容之一，实例使用ARIMA（p，d，q）-差分自回归移动平均模型(Autoregressive Integrated Moving Average Model，简记ARIMA)，AR是自回归， p为自回归项； MA为移动平均，q为移动平均项数，d为时间序列成为平稳时所做的差分次数。所谓ARIMA模型，是指将非平稳时间序列转化...
4
推荐
3656
阅读
Kettle实现循环增量抽取数据
数据量数以千万计时，初次一次性抽取历史数据容易出现卡死，针对这种情况可以使用循环年份抽取，并且加入增量程序使得后续抽取增量化！整体流程：1、获取年份极值（获取历史有数据的年份最大最小值）获取日期：select min(to_char(jyrq,'yyyy')) || '~' || max(to_char(jyrq,'yyyy')) YearRange from veh_is_warning whe...
1
推荐
2815
阅读
Elasticsearch安装记录
Elasticsearch（ES）是一个基于 Lucene的开源搜索引擎，它不但稳定、可靠、快速，而且也具有良好的水平扩展能力，是专门为分布式环境设计的。如何下是两个节点集群安装流程：1、前提条件，es运行需要非root用户负责会出现如下错误，以及需要安装jdk ./elasticsearch
Exception in thread "main" java.lang.Run...
2
推荐
1456
阅读
R基础篇学习笔记（二）
细水长流，不进则退以及向指尖之上的智慧学习（R基础篇学习笔记）！1、MIC查看相关系数MINE可以发现传统回归算法发现不到的关系2、关联规则挖掘算法直观思想：挖掘数据集：购物篮数据挖掘目标：关联规则关联规则：牛奶=>鸡蛋[支持度=2%，置信度=60%]支持度：分析中的全部事务的2%同时购买了牛奶和鸡蛋置信度：购买了...
1
推荐
1625
阅读
Orcle->HDFS->HIVE
#!/bin/bash# set the variableORA_NAME="ylyp"ORA_PASSWORD="oracle"ORA_CONNECTOR="jdbc:oracle:thin:@//192.100.10.1:1521/jgyw"#receive the paramTABLE_NAME=$1BEGIN_DATE=$2END_DATE=$3#inceptor db nameINCEPTOR_DBNAME="dwbi"INCEPTOR_SERVER="jdbc:hive2://192.100.1.1:10000/dwbi"#sqoop -> hdfs dirHDFS_U...
1
推荐
1628
阅读
R基础篇学习笔记（一）
细水长流，不进则退以及向指尖之上的智慧学习（R基础篇学习笔记）！1、data.frame列求mean：colMeans(x)只对制定列求means：colMeans(x)[c("x1","x2","x3")]用apply函数：apply(x,2,mean)只对指定列操作：apply(x[c("x1","x2","x3")],1,mean)2、修改指定条件值：x[which(x)>100]<-value计算后的最大值：which.max(...