0
推荐
1852
阅读
数据库大小写敏感问题
摘自 https://blog.csdn.net/houseq/article/details/39481047Oracle： 默认是大小写不敏感，表名、字段名等不区分大小写，小写字母会自动转换为大写字母； 需要用小写字母时需要使用双引号，或借助函數upper()和lower()；PostgreSQL： ...
0
推荐
1588
阅读
修改postgresql配置
# 总核数 = 物理CPU个数 X 每颗物理CPU的核数
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数# 查看系统版本信息
lsb_release -a
# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq
# ...
2
推荐
9054
阅读
spark中df, rdd, list 转换
df to rdd:
df.rdd.map(list)
df.rdd.map(tuple)
df.rdd.map(lambda x: list(x[0]))
rdd to list:
rdd1.collect()
df to list:
df.rdd.map(list).collect()
df.rdd.map(tuple).collect()
rdd to df:
rdd1.toDF()
list to rdd:
sc.parallelize(list1)
list to df:
sc.parallelize(list1)...
1
推荐
1659
阅读
zeppelin 安装移植简述
复制zeppelin目录或下载解压 zeppelinscp -q -r /cnn/zeppelin-0.8.0-bin-all user@hostname:/python-project
scp -q -r /cnn/spark-2.3.2-bin-hadoop2.7/ user@hostname:/python-project或下载网址：http://zeppelin.apache.org/download.html
wget http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.8....
1
推荐
1873
阅读
spark dataframe的一些用法
DataFrame在RDD的基础上加了Schema，DataFrame曾用名SchemaRDD，对类SQL支持。 结构化数据：Dataframe SQL queries, maps, filters非结构化数据：RDD media or text streamsDataFrame 的函数Action 操作1、 collect() ,返回值是一个...
0
推荐
1383
阅读
pyspark
形如：225459
716199
716266,720291,734244,749200,757137,784109
720211,734310
202822,716729,748390,753726
716162,716169Convert comma separated string to array in pyspark dataframe
0
推荐
1328
阅读
Oracle 选择当前日期前一周的数据
select * from sales_table where day_field between to_number(to_char(sysdate - 7, 'yyyymmdd')) and to_number(to_char(sysdate, 'yyyymmdd'))其中，day_cd 形如 20181123，若day_cd 形如 2018-11-23，则为如下语句：select * from sales_table where day_field between to_number(to_char(sysdate - 7, 'yyyy-mm-dd...
0
推荐
1199
阅读
install
安装TensorFlowpip3 install --upgrade tensorflow
安装OpenCVpip install opencv-python安装matplotlibsudo apt-get install python3-matplotlib #python 3
sudo apt-get install python-matplotlib #python 2安装Keraspip install keras
0
推荐
1327
阅读
简单实现图像预测
10行代码让你轻松搞定对象检测ImageAI 库文档ImageAI 代码keras中对单一输入图像进行预测并返回预测结果
0
推荐
2132
阅读
python求矩阵中两两行向量间距离：pdist 的vector-form distance vector 和 square-form distance matrix
import numpy as np
from scipy.spatial.distance import pdist, squareform
points = np.array([[0,1],[1,1],[3,5], [15, 5]])
points一行是一个observation，一列是一个维度
去冗余的向量形距离：
dist = pdist(points)
array([ 1. , 5. , 15.5241747 , 4.47213595,
14.56021978, 12. ...
0
推荐
1512
阅读
快速清空含大量文件的目录
1. 用 rm -rf 会错误提示rm -rf mbcate
rm: cannot remove 'mbcate/': Directory not empty2. find 结合 rm -rfcd mbcate/
find ./ -name * --exec rm –rf {} \;3. 建空目录 blank, 用rsync同步空目录，即清空，速度是find+rm方法的9倍mkdir blank
rsync --delete-before -d -a -H -v --progress --stats ./blank/...
0
推荐
1370
阅读
各种暂停：shell，python
shell里的暂停：read -n 1 相当于 pause，等待键盘输入，然后继续
read -t 3 相当于 pause(3)，等待3秒后，继续
sleep 1s 等待1秒，继续
usleep 1000 等待1000毫秒，继续python的暂...
1
推荐
1491
阅读
shell命令执行顺序
每一行称为管道，一行可以是标准输入或脚本，一行可以有一个或多个命令，可以用一个或多个管道字符（|）隔开，或者是其他符来分割单个命令：command1;command2 分号：命令间无逻辑关系。命令按顺序从前向后依次执行，所有命令最终都会被执行，即使分号前命令出错也不影响后面的命令
command1 | com...
0
推荐
1457
阅读
sed命令例子
http://bbs.chinaunix.net/thread-3573524-1-1.htmlhttps://www.cnblogs.com/liwei0526vip/p/5644163.htmlhttps://blog.csdn.net/qq_34685846/article/details/72825587
0
推荐
1643
阅读
Nginx+uWSGI+flask 连接超时时间
https://www.jianshu.com/p/f5ee6b6b7e54https://blog.csdn.net/tmpbook/article/details/43734699