0
推荐
2851
阅读
Spark笔记2--Dataset保存为parquet格式遇到的问题
spark天然支持parquet，且其推荐的存储格式就是parquet，但存储时，对其列名有一定的要求：1.列名称不能包含" ,;{}()\n\t=" SparkSession sparkSession = SparkSession.builder().appName("Test").master("local")
.config("spark.sql.inMemoryColumnarStorage.compressed", "true").getOr...
1
推荐
4490
阅读
Spark笔记1--以表头创建空的dataset
最近上手Spark相关的项目，实践过程中遇到的几个问题，来此记录下。1.引入maven包<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.3.0</version>
</dependency>
<dependency>
<groupId>org.a...
0
推荐
2537
阅读
javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateException: Certificates does not conform to algorithm constraints解决方案
问题来源用java开发爬虫程序时，我使用了webmagic框架，该框架可绕过部分https网站的证书，但对于某些尤其是银行类的网站，就遇到了这样的错误信息：“javax.net.ssl.SSLHandshakeException: java.security.cert.CertificateException: Certificates does not conform to algorithm constraints”。于是在网上一阵搜，都说...
1
推荐
1593
阅读
【算法趣题】Q17 挑战30人31足
引言【算法趣题】是来自图灵程序设计丛书绝云译的《程序员的算法趣题》，书中是用Ruby实现的。这里是用python来实现。问题描述30个人排成一行，每个人的两条腿分别和相邻的人绑在一起，只有左右最边上的两个人才有单独的左腿或右腿，29个双足加2个单足，这就是“30人31 足的”来由。多个女生连续排列，体力上会处于劣势，...
1
推荐
1679
阅读
【算法趣题】Q16 3根绳子折成四边形
引言【算法趣题】是来自图灵程序设计丛书绝云译的《程序员的算法趣题》，书中是用Ruby实现的。这里是用python来实现。问题描述假设分别3根长度相同的绳子摆成3个四边形。其中2根摆成长方形，剩下1根摆成正方形。这时，会出现2个长方形的面积之和等于正方形面积的情况（假设长方形和正方形的各边长都是整数）。例】 绳子...
0
推荐
1524
阅读
【算法趣题】Q15 走楼梯
引言【算法趣题】是来自图灵程序设计丛书绝云译的《程序员的算法趣题》，书中是用Ruby实现的。这里是用python来实现。问题描述A上楼梯时，B从同一楼梯往下走。每次不一定只走1级，最多可以一次跳过3级（即直接前进4级）。但无论走多级级，1次移动所需时间不变。两人同时开始走，求共有多少种“两人最终同时停在同一级”的...
2
推荐
2089
阅读
【算法趣题】Q14 世界杯参赛国的国名接龙
引言【算法趣题】是来自图灵程序设计丛书绝云译的《程序员的算法趣题》，书中是用Ruby实现的。这里是用python来实现。问题描述FIFA世界杯对足球爱好者而言是四年一次的盛事。下面我们拿2014年世界杯参赛国的国名做个词语接龙游戏。不过，这里用的不是中文，而是英文字母（忽略大小写）。下表是2014年FIFA世界杯的32个参...
2
推荐
2543
阅读
【算法趣题】Q13 有多少种满足字母算式的解法
引言【算法趣题】是来自图灵程序设计丛书绝云译的《程序员的算法趣题》，书中是用Ruby实现的。这里是用python来实现。问题描述字母算式，就是用字母表示的算式，其规则是：相同字母对应相同数字，不同字母对应不同数字，并且第一位字母对应的数字不能是0.例如，给定算式We × love = CodeIQ，如果对应字母与数字的关系如...
4
推荐
1743
阅读
Centos7下安装python3并安装虚拟环境
引言服务器自带的python版本大多是2.X，而且有些系统应用依赖于默认的python环境。但有时候要用到python3，为了不与系统的python环境相冲突，就新安装python3版本并使用虚拟环境。安装准备首先安装依赖的包yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc ma...
0
推荐
1911
阅读
Linux上有部分中文显示框框的解决办法
引言在linux服务器上部署爬虫，有项功能是截图，但是发现截的图中的部分中文显示不出来，如下图所示这应该是系统缺乏字体所致。方式就是给系统添加字体。解决方法来看看步骤吧：1.在linux系统中创建目录# 进入系统字体所在目录
cd /usr/share/fonts
# 创新新目录myfont
mkdir myfont2.将windows上的字体simsun.ttc上传至...
0
推荐
1618
阅读
【算法趣题】Q12 平方根数字
引言【算法趣题】是来自图灵程序设计丛书绝云译的《程序员的算法趣题》，书中是用Ruby实现的。这里是用python来实现。问题描述平方根，又叫二次方根，表示为〔±√￣〕，其中属于非负数的平方根称之为算术平方根（arithmetic square root）。一个正数有两个实平方根，它们互为相反数；0只有一个平方根，就是0本身；负数有...
0
推荐
2024
阅读
【nodejs爬虫系列】02--web应用express框架
引言我们要搭个简单的web服务，为我们的爬虫提供几个API，python和nodejs都是不错的选择。Express是个简洁而灵活的nodejs Web应用框架，用其可以快速地搭建一个完整功能的网站。安装Express按上篇（https://ask.hellobi.com/blog/jasmine3happy/11882）配置好环境后，我们就来安装express，有几个重要的模块是需要与expr...
1
推荐
1816
阅读
【算法趣题】Q11 斐波那契数列
引言【算法趣题】是来自图灵程序设计丛书绝云译的《程序员的算法趣题》，书中是用Ruby实现的。这里是用python来实现。问题描述斐波那契数列：又称黄金分割数列、因数学家列昂纳多·斐波那契（Leonardoda Fibonacci）以兔子繁殖为例子而引入，故又称为“兔子数列”，指的是这样一个数列：1、1、2、3、5、8、13、21、34、……在...
1
推荐
1779
阅读
【nodejs爬虫系列】01--环境设置
引言这段时间一直在搞爬微信和搭chrome服务，找资料基本上采用的是nodejs。于是我边找资料边写，由nodejs零基础的我也算有点入门了，毕竟都把服务给搭起来了，爬微信也搞定了。也因此来记录下期间遇到的几个点。一、安装nodejs安装nodejs比较简单，直接上官网（https://nodejs.org/en/download/）下载好对应的文件安装即...
0
推荐
2443
阅读
【算法趣题】Q10 轮盘的最大值
前言【算法趣题】是来自图灵程序设计丛书绝云译的《程序员的算法趣题》，书中是用Ruby实现的。这里是用python来实现。问题描述轮盘是机轮盘赌博会或者运气的游戏，几乎没有人可以操控赔率。不论您如何下注，赢得赌注的几率都是相对一定的，这是您无法改变的。轮盘一般分两种：美式和欧式。美式有零位和双零位，而欧式则...