1
推荐
2815
阅读
《Python3网络爬虫开发实战》第二波抽奖赠书活动来了！
嗨~ 给大家重磅推荐一本书！上市两月就已经重印 4 次的 Python 爬虫书！它就是由静觅博客博主崔庆才所作的《Python3网络爬虫开发实战》！！！同时文末还有抽奖赠书活动，不容错过！！！书籍介绍本书《Python3网络爬虫开发实战》全面介绍了利用 Python3 开发网络爬虫的知识，书中首先详细介绍了各种类型的环境配置过程和...
9
推荐
3918
阅读
跟繁琐的命令行说拜拜！Gerapy分布式爬虫管理框架来袭！
背景用 Python 做过爬虫的小伙伴可能接触过 Scrapy，GitHub：https://github.com/scrapy/scrapy。Scrapy 的确是一个非常强大的爬虫框架，爬取效率高，扩展性好，基本上是使用 Python 开发爬虫的必备利器。如果使用 Scrapy 做爬虫，那么在爬取时，我们当然完全可以使用自己的主机来完成爬取，但当爬取量非常大的时候，我...
3
推荐
2446
阅读
ScrapyRedis源码解析
ScrapyRedis 这个库已经为我们提供了 Scrapy 分布式的队列、调度器、去重等功能，其 GitHub 地址为：https://github.com/rmax/scrapy-redis。本节我们来分析一下它的源码，深入了解一下利用 Redis 怎样实现 Scrapy 分布式。1. 获取源码首先我们可以把源码 Clone 下来，执行如下命令：git clone https://github.com/rmax/...
3
推荐
3564
阅读
Python3 中代理使用方法总结
学爬虫我们已经了解了多种请求库，如 Requests、Urllib、Selenium 等。我们接下来首先贴近实战，了解一下代理怎么使用。下面我们来梳理一下这些库的代理的设置方法。1. 获取代理在做测试之前，我们需要先获取一个可用代理，搜索引擎搜索“代理”关键字，就可以看到有许多代理服务网站，在网站上会有很多免费代理，比如西刺...
4
推荐
11215
阅读
极验滑动验证码的识别
极验滑动验证码的识别简单的图形验证码我们可以直接利用 Tesserocr 来识别，但是近几年又出现了一些新型验证码，如滑动验证码，比较有代表性的就是极验验证码，它需要拖动拼合滑块才可以完成验证，相对图形验证码来说识别难度上升了几个等级，本节来讲解下极验验证码的识别过程。1. 本节目标本节我们的目标是用程序来识...
3
推荐
2141
阅读
Splash负载均衡配置
Splash负载均衡配置如果我们用 Splash 来做 JavaScript 动态渲染的页面的抓取的话，如果爬取的量非常大，任务非常多，如果我们用一个 Splash 服务来处理的话未免压力太大了，所以我们可以考虑搭建一个负载均衡器来把压力分散到各个服务器上，这样相当于多台机器多个服务共同参与任务的处理，可以减小单个 Splash 服务的...
4
推荐
4689
阅读
XPath的使用
XPath的使用XPath，全称 XML Path Language，即 XML 路径语言，它是一门在XML文档中查找信息的语言。XPath 最初设计是用来搜寻XML文档的，但是它同样适用于 HTML 文档的搜索。所以在做爬虫时，我们完全可以使用 XPath 来做相应的信息抽取，本节我们来介绍一下 XPath 的基本用法。1. XPath概览XPath 的选择功能十分强大，...
4
推荐
3815
阅读
Selenium 抓取淘宝商品
我们可以尝试分析Ajax来抓取了相关数据，但是并不是所有的页面都是可以分析Ajax来就可以完成抓取的，比如淘宝。它的整个页面数据确实也是通过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等参数，所以我们如果想自己构造Ajax参数是比较困难的，对于这种页面我们最方便快捷的抓取方法就是通过Selenium...
8
推荐
5312
阅读
Python3中BeautifulSoup的使用方法
BeautifulSoup的使用我们学习了正则表达式的相关用法，但是一旦正则写的有问题，可能得到的就不是我们想要的结果了，而且对于一个网页来说，都有一定的特殊的结构和层级关系，而且很多标签都有id或class来对作区分，所以我们借助于它们的结构和属性来提取不也是可以的吗？所以，这一节我们就介绍一个强大的解析工具，叫...
14
推荐
5318
阅读
利用Scrapy爬取所有知乎用户详细信息并存至MongoDB
本节分享一下爬取知乎用户所有用户信息的Scrapy爬虫实战。本节目标本节要实现的内容有：从一个大V用户开始，通过递归抓取粉丝列表和关注列表，实现知乎所有用户的详细信息的抓取。将抓取到的结果存储到MongoDB，并进行去重操作。思路分析我们都知道每个人都有关注列表和粉丝列表，尤其对于大V来说，粉丝和关注尤其更多。...
3
推荐
8137
阅读
小白进阶之Scrapy第三篇（基于Scrapy-Redis的分布式以及cookies池）
啥话都不说了、进入正题。首先我们更新一下scrapy版本。最新版为1.3再说一遍Windows的小伙伴儿 pip是装不上Scrapy的。推荐使用anaconda 、不然还是老老实实用Linux吧conda install scrapy==1.3
或者
pip install scrapy==1.3安装Scrapy-Redisconda install scrapy-redis
或者
pip install scrapy-redis需要注意：Python ...
6
推荐
3115
阅读
小白进阶之Scrapy第二篇（登录篇）
其实拿这个网站当教程刚开始我是拒绝、换其他网站吧，又没什么动力···· 然后就···········上一篇Scrapy带大家玩了 Spider今天带带大家玩的东西有两点、第一CrawlSpider、第二Scrapy登录。目标站点：www.haoduofuli.wangGo Go Go！开整！还记得第一步要干啥？创建项目文件啊！没有Scrapy环境的小伙伴们请参考第一篇安装一...
2
推荐
2637
阅读
小白爬虫第二弹之健壮的小爬虫
我又来装逼了！上次教大家写了一个下载www.mzitu.com全站图片的小爬虫练手、不知道大家消化得怎么样？大家在使用的时候会发现，跑着跑着 就断掉了！报错了啊！丢失连接之类的。幸幸苦苦的抓了半天又得从头来，心累啊！这就是网站的反爬虫在起作用了，一个IP访问次数过于频繁就先将这个IP加入黑名单，过一会儿再放出来。...
4
推荐
2188
阅读
Python爬虫入门六之Cookie的使用
大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢？Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么...
4
推荐
2735
阅读
Python爬虫利器之PyQuery的用法
前言你是否觉得 XPath 的用法多少有点晦涩难记呢？你是否觉得 BeautifulSoup 的语法多少有些悭吝难懂呢？你是否甚至还在苦苦研究正则表达式却因为少些了一个点而抓狂呢？你是否已经有了一些前端基础了解选择器却与另外一些奇怪的选择器语法混淆了呢？嗯，那么，前端大大们的福音来了，PyQuery 来了，乍听名字，你一定联...