0
推荐
1760
阅读
Python网络爬虫--Scrapy使用IP代理池
作者：我为峰2014链接：https://www.jianshu.com/p/da94a2a24de8來源：简书自动更新IP池写个自动获取IP的类proxies.py，执行一下把获取的IP保存到txt文件中去。代码# *-* coding:utf-8 *-*
import requests
from bs4 import BeautifulSoup
import lxml
from multiprocessing import Process, Queue
import ran...
0
推荐
3644
阅读
Python网络爬虫的Scrapy实战一
作者：我为峰2014链接：https://www.jianshu.com/p/22edeecc7ed0來源：简书任务使用递归抓取简书用户信息解释：获取到一个初识的用户url，我们需要对其进行请求，解析出这个用户的关注的和粉丝中再抽取url，循环往复，周而复始，获取他们的昵称-nickname关注数-followed粉丝数- following文章数-articles文字数-charleng...
1
推荐
1566
阅读
Python网络爬虫的同步和异步
作者：我为峰2014链接：https://www.jianshu.com/p/6c1d04f7b3f7來源：简书同步与异步#同步编程（同一时间只能做一件事，做完了才能做下一件事情）
<-a_url-><-b_url-><-c_url->
#异步编程 (可以近似的理解成同一时间有多个事情在做，但有先后)
<-a_url->
<-b_url->
<-c_url-&g...
3
推荐
1741
阅读
pyquery爬取豆瓣读书
作者：我为峰2014链接：https://www.jianshu.com/p/bf6938de87ad來源：简书本任务需求：爬取豆瓣阅读所有书籍的书名、出版社、评分、简介等相关信息。豆瓣的网页比较干净整洁，链接很有规律本文具体逻辑顺序：先获取书籍类目及网址获取每个类目所有页面的链接获取书籍名、出版社、评分等信息衔接前面4部分的代码。一、获...
0
推荐
1828
阅读
Python网络爬虫神器PyQuery的使用方法
作者：我为峰2014链接：https://www.jianshu.com/p/770c0cdef481來源：简书前言pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好，和它差不多的还有BeautifulSoup，都是用来解析的。相比BeautifulSoup完美翔实的文档，虽然PyQuery库的文档弱爆了， 但是使用起来还是可以...
0
推荐
1615
阅读
Python网络爬虫六
作者：我为峰2014链接：https://www.jianshu.com/p/e71569bd12a3來源：简书爬取饿了么平台上的门店信息大的网站往往都喜欢使用动态网页，我们在网址栏看到的是https://www.ele.me/home/但实际上，真正的url是这个东西https://www.ele.me/restapi/v2/pois?extras%5B%5D=count&geohash=ws9dzqkvn037&keyword=%E9%B...
0
推荐
1415
阅读
Python网络爬虫五
作者：我为峰2014链接：https://www.jianshu.com/p/8b19019b74aa來源：简书前言我们看了一些，爬虫示例，对爬虫应该有比较深的理解了，还是爬取评论，这次选择B站点开B站，打开F12，点击评论，看ajax，观察规律，找到url找到url，很容易https://api.bilibili.com/x/v2/reply?callback=jQuery17205163997735669639_151546...
0
推荐
1279
阅读
Python网络爬虫四
作者：我为峰2014应届生，客家人。前言我们爬虫过文本，图片，接下来应该是视频了。例子抓取视频资源以头条视频为例爬取思路分析网页源码，查找解析出视频资源url对该url发起请求，返回二进制数据将二进制数据保存为视频格式
0
推荐
1602
阅读
Python网络爬虫三
作者：我为峰2014链接：https://www.jianshu.com/p/839fb07a7aac來源：简书前言前面说的都是爬取评论，这次打算爬取一下图片例子图片爬虫思路1.发起请求2.得到响应的二进制数据3.以二进制数据创建图片4.保存示例这是我在桌面壁纸网找到的一个卡通美女图的资源地址http://desk.fd.zol-img.com.cn/t_s960x600c5/g5/M00/08/...
0
推荐
1621
阅读
Python网络爬虫二
作者：我为峰2014链接：https://www.jianshu.com/p/e0d81b8d5c24來源：简书例子爬取微博的评论任务分析1、抓包分析获得有规律的网址2、使用cookie保持微博的登录状态3、数据传输是json格式（类似于字典）4、使用用正则表达式匹配出想要的评论文本4、对文本数据的保存并分析抓包分析澎湃新闻网址http://weibo.com/thepape...
0
推荐
1444
阅读
Python网络爬虫一
作者：我为峰2014链接：https://www.jianshu.com/p/ed6f7ff2d210來源：简书很多人学习Python就是为了写爬虫的，给大家的印象就是Python=爬虫，既然如此，那我们也从最简单的爬虫开始学习吧，先介绍一波爬虫的原理吧，爬虫也就是Python写的脚本，对特定的url提取需要的信息。所以爬虫总共飞为三部，获取页面数据，解析页...
0
推荐
1555
阅读
Python的Scrapy框架
作者：我为峰2014链接：https://www.jianshu.com/p/f270a07ef7dd來源：简书我建议新手都从Python3开始学习，可以不去学习Python2了，毕竟以后一定会被Python3代替，当然，也有一些库它现在只兼容Python2，那我们就再考虑了，我的Python版本是Python3.5.2安装Scrapy先要确定自己的Python版本 配置好环境变量，在cmd中输入...
0
推荐
1409
阅读
9幅图快速理解支持向量机（SVM）的工作原理
作者：博观厚积链接：https://www.jianshu.com/p/b7d2707cd1f3來源：简书支持向量机（Support Vector Machine，常简称为SVM）是一种监督式学习的方法，可广泛地应用于统计分类以及回归分析。它是将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平...
0
推荐
1378
阅读
Python机器学习随笔之K-Means聚类的实现
作者：博观厚积统计类专业，喜欢数据分析、可视化、数据挖掘、大数据，历史、文学等1.K-Means聚类原理K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。其基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更...
0
推荐
4977
阅读
用Python为直方图绘制拟合曲线的两种方法
作者：博观厚积链接：https://www.jianshu.com/p/65395b00adbc來源：简书直方图是用于展示数据的分组分布状态的一种图形，用矩形的宽度和高度表示频数分布，通过直方图，用户可以很直观的看出数据分布的形状、中心位置以及数据的离散程度等。在python中一般采用matplotlib库的hist来绘制直方图，至于如何给直方图添加拟...