0
推荐
2881
阅读
hive 调度
这个方法适用于存在多个hql脚本,想要统一调度,或者多个hql存在依赖关系的场景逻辑简述:四类文件 1、pkg.sh文件(1个pkg.sh文件),用来调度rpt.sh文件,在linux crontab -e 调度中添加这个文件,用于调度可同时调度多个rpt.sh文件 2、rpt.sh文件(n个rpt.sh文件),用来调度.q文件,并在.q文件执行成...
0
推荐
1856
阅读
python基础5 ARIMA
from statsmodels.tsa.stattools import adfullerfrom statsmodels.tsa.seasonal import seasonal_decomposefrom statsmodels.tsa.stattools import acf,pacffrom statsmodels.tsa.arima_model import ARIMAimport statsmodels.tsa.stattools as stfrom statsmodels.tsa.arima_model import ARMAimport pandas as pdimpo...
1
推荐
1720
阅读
python基础4-xgboost
import xgboost as xgbfrom xgboost import plot_importancefrom sklearn.model_selection import train_test_splitimport pandas as pdimport matplotlib.pyplot as pltfrom datetime import date,datetimeimport numpy as npfrom matplotlib.pylab import rcParamsrcParams['figure.figsize'] = 15, 6 #设置画布dir_pa...
0
推荐
1662
阅读
python基础3-k-means
#数据处理
import pandas as pd
import matplotlib.pyplot as plt
import matplotlib
from datetime import date,datetime
import numpy as np
from sklearn.cluster import KMeans #导入K均值聚类算法
from matplotlib.pylab import rcParams
rcParams['figure.figsize'] = 15, 6 #rcParams设定好画布的大小
plt.rcPara...
0
推荐
1465
阅读
python基础2
'''
date:2018年6月21日
data:
purpose:
两张图,第一张横坐标轴是datetime 第二张图横坐标轴是省份
查看sku 销量 省份
注意点:
1、第一张图把省份做成list作区分
2、第二张图,做list的时候要先把string转换成float
3、转换方法 先把这列作为索引(也要保证唯一) 然后.to_dict(),然后指向这个索引位置即可
'''...
0
推荐
1512
阅读
python基础1
python基础import os
import sys
import pandas as pd
from datetime import datetime, date
from time import time,localtime,strftime
import matplotlib.pylab as plt
dir_path = 'E:\\Data\\'
wdata = pd.read_csv(dir_path+'order_jx_y3',sep='\x01',encoding='utf-8',header=None)
wdata = wdata[[1,2,3,4,5]]
wd...
1
推荐
2125
阅读
遇到的一些hive字符串处理 汇总
持续更新。。。--取第一个顿号前面的所有字符 split(new_occupy,'、')[0] as new_occupy--替换regexp_replace(occupy,',','、')--hive不识别英文分号,输入报错问题 用\073select cons_name,split(cons_name,'\073')[0] from WLH_TABLE_M11 where cons_name limit 10;--截取分号与逗号之间的字符串select cons_name...
0
推荐
1309
阅读
scp
scp用于在两台电脑之间进行数据的传输: scp [-r] username@host:发送路径 接收路径 需要输入密码 [-r]:如果传输的是文件夹需要加 -r username@host:远程电脑的 用户名@IP 发送路径:远程电脑上要传输的文件(夹)路径 接收路径:本机接收路径 例:将110主机上的文件...
1
推荐
6489
阅读
HIVE like和rlike
like与rlike的区别:like不是正则,是通配符。这个通配符可以看一下SQL的标准,例如%代表任意多个字符。rlike是正则,正则的写法与java一样。'\'需要使用'\\',例如'\w'需要使用'\\w'--NAME中包含数字的select name from wlh_dm_sz_3 where rlike (name,'[0-9]') limit 100select name from wlh_dm_sz_3 where name ...
0
推荐
4420
阅读
python 散点图添加标签
DBscan聚类的图形,按照每个簇来给图例效果:代码:# coding:utf8
import sys
reload(sys)
sys.setdefaultencoding("utf8")
import math
import numpy as np
import pylab as pl
import matplotlib.pyplot as plt
import pandas as pd
import string
import os
with open('E:\\pywork\\onlyJW\\d.txt', 'r') as f:
...
5
推荐
1740
阅读
python学习笔记
杂乱无章的学习记录,持续更新1、map() 、str转元组data1=map(lambda d:tuple(d.replace('\n','').split(',')),data)map()是 Python 内置的高阶函数,它接收一个函数 f 和一个 list,并通过把函数 f 依次作用在 list 的每个元素上,得到一个新的 list 并返回例如,对于list [1, 2, 3, 4, 5, 6, 7, 8, 9]如果希望把list的...
1
推荐
4163
阅读
anaconda Python 3.6 version 安装
1.下载安装文件 https://www.anaconda.com/download/ 2.下载好后一路回车安装,添加环境变量 C:\ProgramData\Anaconda3\Library\bin; 3.验证: 安装anaconda之后 打开Anaconda Prompt 输入 conda --version 验证并查看版本 ...
0
推荐
2784
阅读
linux虚拟机无法上网 Network is unreachable
系统centos安装ftp时报错 Couldn't resolve host 'mirrorlist.centos.org[root@wulihua bin]# yum install vsftpdLoaded plugins: fastestmirror, refresh-packagekit, securitySetting up Install ProcessLoading mirror speeds from cached hostfileCould not retrieve mirrorlist http://mirrorlist.cento...
2
推荐
1743
阅读
spark环境搭建
准备工作 一套搭建好的hadoop环境下载scala、spark安装包1、安装scalatar -xzvf scala-2.12.3.tgz2、安装sparktar -xzvf spark-2.2.0-bin-hadoop2.7.tgz3、修改 、/etc/profile文件JAVA_HOME=/usr/java/jdk1.8.0_144/
HADOOP_HOME=/opt/hadoop-2.7.4
SCALA_HOME=/opt/scala-2.12.3
SPARK_HOME=/opt/sp...
0
推荐
2301
阅读
BIEE-5、回写
1、回写授权。仪表盘设置中,授权回写条件:设置-管理-管理权限-回写-回写至数据库,添加需要的用户组即可。2、配置会写表3、创建回写模板 1>为满足安全要求,在回写模板中插入和更新语句之前必须制定连接池,回写模板中通过sql引用的变量产生SQL语句修改DB表;变量引用可引用位置(@1,@2),或者用列ID(@{col...