爬虫

爬虫

0
推荐
39
浏览

10个爬虫工程师必备的工具了解一哈

作者: 张小吉个人公众号:鸡仔说工欲善其事必先利其器的道理相信大家都懂。而作为经常要和各大网站做拉锯战的爬虫工程师们,则更需要利用利用好身边的一切法器,以便更快的攻破对方防线。今天我就以日常爬虫流程...

Python爱好者社区 发表了文章 • 1 天前

0
推荐
42
浏览

【AI白身境】学深度学习你不得不知的爬虫基础

文章发布于公号【数智物语】 (ID:decision_engine),关注公号不错过每一篇干货。转自 | 有三AI作者 | 汤兴旺 言有三所谓白身,就是什么都不会,还没有进入角色。对于深度学习,一个好的数据集可以说非常...

数智物语 发表了文章 • 2 天前

0
推荐
54
浏览

一文入门Python + Selenium动态爬虫——从了解房价开始

作者:timber ,在一家电子商务(外贸)公司任职运维,平常工作时我觉得敲命令的样子也很帅    ---Python,Changed me!个人博客地址: https://blog.csdn.net/weixin_42946604本文首发于:htt...

Python爱好者社区 发表了文章 • 3 天前

1
推荐
91
浏览

Scrapy爬取京东某书评论

作者:国服帅座  经济学在读硕士公众号:统计之家无论是爬取静态网页,还是利用高德地图API获得数据,本文作者都偏好使用requests模块。在本文中,本人爬取京东书评,运用的是Scrapy框架。观察页面结构首先...

国服帅座 发表了文章 • 2019-02-14 16:41

0
推荐
72
浏览

爬了下Unsplash上的高清壁纸,总有一款适合你

 作者:强哥,现供职于一家大型全球电子商务网站,多年Python程序员,热爱数据,热爱AI,希望能与更多同业人交流。 个人公众号:Python与数据分析Unsplash是个高清摄影图片的网站,里面的照片非常精美...

Python爱好者社区 发表了文章 • 2019-02-13 10:35

0
推荐
59
浏览

大年初六中午,全国各区县哪里最冷?

作者:国服帅座 经济学在读硕士微信公众号:统计之家认识高德地图API在先前的文章中,我们曾了解过如何在高德地图上爬取某地未来三日的天气预报情况。在本文中,我们要使用的是同一个API,获得全国各区县的实时气...

国服帅座 发表了文章 • 2019-02-12 19:14

0
推荐
46
浏览

爬取国内创业公司、投资机构、独角兽公司信息

作者:  苏克1900公众号:第2大脑摘要: 之前爬的网站都是不需要登录就可以爬取的,但还有很多网站的内容需要先登录才能爬,比如桔子网、豆瓣、知乎等。这时采用之前的方法就不行了,需要先登录再去爬...

Python爱好者社区 发表了文章 • 2019-02-11 12:38

1
推荐
110
浏览

这是一份【洗浴推拿指南】,敬请查收!

作者:国服帅座  经济学在读硕士公众号:统计之家冷风如刀,以大地为砧板,视众生为鱼肉。                             &nbs...

国服帅座 发表了文章 • 2019-01-30 08:27

1
推荐
115
浏览

听说过高德版本的天气预报么

作者:国服帅座    经济学在读硕士知乎ID:国服帅座有了高德地图的导航,我们能踏遍祖国的绿水青山。其实,高德本身也是一座金山银山,蕴藏着丰富的数据资源。至于国服帅座,愿为一枚小小的数据搬运工...

国服帅座 发表了文章 • 2019-01-24 11:24

2
推荐
195
浏览

Python调用百度地图API爬取经纬度

作者:国服帅座  经济学在读硕士微信公众号:统计之家你吃肯德基,我点麦当劳。本是替代品,却众口难调。每个人都有独特的偏好,都有一份要坚守的情怀。高德与百度,你心仪哪款呢?认识百度地图API百度与高...

国服帅座 发表了文章 • 2019-01-20 18:12

0
推荐
167
浏览

Python调用高德地图API爬取经纬度

作者:国服帅座  经济学在读硕士知乎专栏:https://zhuanlan.zhihu.com/c_1051263791760863232认识高德地图API比起普通的静态网页爬虫,爬高德地图的麻烦之处在于API中存在参数。这需要我们首先要对高德地图...

国服帅座 发表了文章 • 2019-01-20 17:59

0
推荐
161
浏览

爬虫三步走——以R语言爬取经纬度为例

作者:国服帅座  经济学在读硕士知乎专栏:https://zhuanlan.zhihu.com/c_1051263791760863232爬虫三步走,或者三步骤,或者三部曲,爱咋叫咋叫。第一步,爬取单个数据;第二步,整合为函数;第三步,for循...

国服帅座 发表了文章 • 2019-01-20 17:50

0
推荐
135
浏览

当你写爬虫时遇上Flash+加密的解决方式

作者:loco   Python爱好者社区专栏作者知乎: https://zhuanlan.zhihu.com/p/45508079今天在摸鱼(划掉)逛V2EX的时候,有个帖子引起了我的注意求助一个网站视频加密方式, 已排除是 base64 加密...

Python爱好者社区 发表了文章 • 2018-12-28 13:01

1
推荐
182
浏览

点评网的反爬再也不是烦恼

作者:强哥,现供职于一家大型全球电子商务网站,多年Python程序员,热爱数据,热爱AI,希望能与更多同业人交流。个人公众号:Python与数据分析点评网的反爬设置在我们爬取点评网页的时候给我们造成了不小的障碍...

Python爱好者社区 发表了文章 • 2018-12-05 10:50

1
推荐
234
浏览

分析了 6000 款 App,竟有这么多佳软神器没用过

作者:  苏克1900公众号:第2大脑摘要: 如今移动互联网越来越发达,各式各样的 App 层出不穷,也就产生了优劣之分,相比于普通 App,我们肯定愿意去使用那些良心佳软,但去发现这些 App 并不太容易,...

Python爱好者社区 发表了文章 • 2018-12-04 13:13

条新动态, 点击查看
牟瑞-人民日报媒体技术: 可以使用容器技术,或者指定进程,在每一颗CPU上启动一个Python进程。
hi,I'm frank: 好的,谢谢建议。目前我们是打包scrapyd+scrapy project = docker 的形式,在看有没有更好的更有效... 显示全部 »
牟瑞-人民日报媒体技术: 可以使用容器技术,或者指定进程,在每一颗CPU上启动一个Python进程。
hi,I'm frank: 好的,谢谢建议。目前我们是打包scrapyd+scrapy project = docker 的形式,在看有没有更好的更有效的方案。
Rong: scrapyd+scrapy project = docker 应该效率还好吧?
牟瑞-人民日报媒体技术: 这种方式对于Python来说是比较好的了。
hi,I'm frank: @人民日报媒体技术-牟瑞 其实这样一是减少运维成本,二是解耦合,都以api方式互相调用。三,基于api可以做更多的东西,比如dashbord
hi,I'm frank: 比如这种:
 
17253

rong: 同意大鱼的说法, 现在etl也逐渐api化了
牟瑞-人民日报媒体技术: @深圳_爬虫_大鱼 你们已经做到前面了。
hi,I'm frank: 嗯,之前做过etl [Smile],现在做爬虫,感觉以前的一套完全可以灵活的用起来。见笑了
牟瑞-人民日报媒体技术: 很多技术都是相通的。。
hi,I'm frank: 当然,爬虫只是一个raw data ,数据清洗的小伙伴们负责piepline的部分。
天善小编

天善小编 回答了问题 • 2016-05-09 12:59 • 1 个回复 不感兴趣

请教下,爬虫的数据主要存储在哪里?

赞同来自:

hi,I'm frank: 爬虫的数据适合mongo 等nosql的数据库
牟瑞-人民日报媒体技术: 对,优先是非结构化的数据库,,等非常稳定后可以变成结构化的。
hi,I'm frank: @牟瑞-人民日报媒体技术 上次云栖大会问过阿里的数据讲师,都... 显示全部 »
hi,I'm frank: 爬虫的数据适合mongo 等nosql的数据库
牟瑞-人民日报媒体技术: 对,优先是非结构化的数据库,,等非常稳定后可以变成结构化的。
hi,I'm frank: @牟瑞-人民日报媒体技术 上次云栖大会问过阿里的数据讲师,都讨论过一下
hi,I'm frank: 对了,用mongo的同学记得mongo尽量打包成docker限制资源。
看到过这个有介绍 <使用 voluptuous 校验数据>http://python.jobbole.com/84762/
看到过这个有介绍 <使用 voluptuous 校验数据>http://python.jobbole.com/84762/
这里个人比较喜欢Pycharm,一个商业的Python开发IDE,可以在网站找一个注册码。
个人不是特别推荐使用Windows来开发Python的代码,确实有点麻烦,不过这点麻烦比起Java来已经轻松很多了。
推荐Centos的桌面系统或者Ubuntu系统,使... 显示全部 »
这里个人比较喜欢Pycharm,一个商业的Python开发IDE,可以在网站找一个注册码。
个人不是特别推荐使用Windows来开发Python的代码,确实有点麻烦,不过这点麻烦比起Java来已经轻松很多了。
推荐Centos的桌面系统或者Ubuntu系统,使用pip来安装各种依赖,已经非常方便了。
 
另外,如果遇到什么问题可以在天善上来提问。
牟瑞

牟瑞 回答了问题 • 2016-08-11 09:02 • 1 个回复 不感兴趣

python 爬虫显示问题

赞同来自:

这个问题确实非常棘手,说实话,我也没有比较好的办法,之所以没有好的办法原因如下:
由于涉及编码问题,Python对utf8,unicode做了不同的处理,但是对中文感觉总是不那么完美,造成你这个问题的原因也是编码问题。
1.首先你把你的代码复制下来,不要采用n... 显示全部 »
这个问题确实非常棘手,说实话,我也没有比较好的办法,之所以没有好的办法原因如下:
由于涉及编码问题,Python对utf8,unicode做了不同的处理,但是对中文感觉总是不那么完美,造成你这个问题的原因也是编码问题。
1.首先你把你的代码复制下来,不要采用notebook的形式,采用.py的形式运行一下看看结果是否一样
2.按照我现在的理解,实际上,你的第一次输出的格式也是unicode编码的,之所以能正确显示出来,是因为浏览器将输出的内容做了转化,不是Python的正常输出。而第二次的是属于正常的输出。
 
可以尝试下:encode(),decode()的方式,进行转码,然后反复验证下。
usenet506

usenet506 回答了问题 • 2016-11-03 16:14 • 1 个回复 不感兴趣

爬虫中html是否后缀read() 有什么区别

赞同来自:

urlopen方法返回的是 response对象;
response对象的read方法才能返回网页内容
urlopen方法返回的是 response对象;
response对象的read方法才能返回网页内容
伪造request请求,去请求这个地址就好了
伪造request请求,去请求这个地址就好了
针对不同的网站要写不同的爬虫程序。
招聘网站do都会有反爬,长期爬取需要做好fan反爬。
针对不同的网站要写不同的爬虫程序。
招聘网站do都会有反爬,长期爬取需要做好fan反爬。
非专业爬虫者简单说点:爬虫就是模拟人的行为去网上获取数据。要考虑的问题嘛,避免被反爬,避免短时间集中去爬,避开高峰期,毕竟网站有很多人访问,被你爬得当掉就不好了。
至于反反爬嘛:
1.设置ua,模拟浏览器
2.降低访问频率
3.ip代理
4.selenium+... 显示全部 »
非专业爬虫者简单说点:爬虫就是模拟人的行为去网上获取数据。要考虑的问题嘛,避免被反爬,避免短时间集中去爬,避开高峰期,毕竟网站有很多人访问,被你爬得当掉就不好了。
至于反反爬嘛:
1.设置ua,模拟浏览器
2.降低访问频率
3.ip代理
4.selenium+浏览器方式
至于具体要获取什么内容,用正则、xpath、BeautifulSoup等解析获取,得自己分析出来。
import requests
from lxml import etree
from fake_useragent import UserAgent
ua = UserAgent()

url = ''
headers = {'User-Agent':'u... 显示全部 »
import requests
from lxml import etree
from fake_useragent import UserAgent
ua = UserAgent()

url = ''
headers = {'User-Agent':'ua.random'}
r = requests.get(url,headers=headers).text
s = etree.HTML(r)
print(s.xpath()) 使用requests获取源码,xpath解析
可以在抛出异常,使用别的代理或者代理池
可以在抛出异常,使用别的代理或者代理池
许胜利

许胜利 回答了问题 • 2018-01-31 14:36 • 1 个回复 不感兴趣

为什么使用scrapy时有些第三方库无法找到?

赞同来自:

你的Python 环境变量设置的有问题 把Python环境和Python的包的也加进去
 
你的Python 环境变量设置的有问题 把Python环境和Python的包的也加进去
 
许胜利

许胜利 回答了问题 • 2018-08-20 18:01 • 2 个回复 不感兴趣

python爬虫遇到403如何解决?

赞同来自:

并不是加了User-Agent就可以使对方网站认定为你是正常访问,特殊的网站会有别的反爬机制,你可以看下是不是有加了反外链。
并不是加了User-Agent就可以使对方网站认定为你是正常访问,特殊的网站会有别的反爬机制,你可以看下是不是有加了反外链。
9
推荐
1908
浏览

Python3中正则表达式使用方法

正则表达式本节我们看一下正则表达式的相关用法,正则表达式是处理字符串的强大的工具,它有自己特定的语法结构,有了它,实现字符串的检索、替换、匹配验证都不在话下。当然对于爬虫来说,有了它,我们从HTML里...

崔庆才 发表了文章 • 2017-05-27 23:57

5
推荐
1957
浏览

Scrapy 爬取伯乐在线实战

项目介绍使用Scrapy框架进行爬取伯乐在线的所有技术文章所用知识点Scrapy项目的创建Scrapy框架Shell命令的使用Scrapy自带的图片下载管道Scrapy自定义图片下载管道(继承自带的管道)Scrapy框架ItemLoader的使用Scra...

蒋蜀黍 发表了文章 • 2017-05-16 20:53

1
推荐
904
浏览

爬取百度音乐5000热门歌单10万音乐数据

平时喜欢用百度音乐随便找个歌单听听歌,一来搜索打开方便,二来歌曲曲目也全。今天在找歌单的时候,突然想看看热门歌单里都有哪里歌曲,于是便有了这个小程序。首先,需要获取各个歌单的地址,我们从百度音乐的...

州的先生 发表了文章 • 2017-05-12 14:46

0
推荐
561
浏览

【学习笔记】Python基础入门(四)

【学习笔记】Python基础入门(一)【学习笔记】Python基础入门(二)【学习笔记】Python基础入门(三)用于引用(绑定)对象的标识符语法变量名 = 对象(数值、表达式等)如计算圆面积pi = 3.14radius = 12.3area...

李亮辰 发表了文章 • 2017-05-12 14:10

1
推荐
805
浏览

爬虫入门系列(四):HTML文本解析库BeautifulSoup

系列文章的第3篇介绍了网络请求库神器 Requests ,请求把数据返回来之后就要提取目标数据,不同的网站返回的内容通常有多种不同的格式,一种是 json 格式,这类数据对开发者来说最友好。另一种 XML 格式的,还有...

刘志军 发表了文章 • 2017-05-11 16:55

15
推荐
3508
浏览

Python数据采集和分析告诉你为何上海的二手房你都买不起!(一)

1.前言本人是个学生党,在过两年就要研究生毕业了,面临着找工作,相信很多人也面临或者经历过工作,定居租房买房之类的在此,我们来采集一下上海在售的二手房信息,有人想问,为啥不采集新房?快醒醒吧,新房可...

ID王大伟 发表了文章 • 2017-04-19 17:08

9
推荐
1986
浏览

关于反爬虫的一些总结

1、爬取过程中的302重定向在爬取某个网站速度过快或者发出的请求过多的时候,网站会向你所在的客户端发送一个链接,需要你去验证图片。我在爬链家和拉钩网的过程中就曾经遇到过:对于302重定向的问题,是由于抓取...

watermelon 发表了文章 • 2017-02-08 14:57

6
推荐
2884
浏览

合并多个PDF文档的解决:附生成天善用户的博客内容合集的Python示例

上一篇《天善博客内容如何转成PDF文档》介绍了如何从html生成pdf的原理,不过wkhtmltopdf有限制,文档多了,需要生成多个pdf文件,原来使用http://www.pdfmerge.com/在线服务合并文档。感觉不完美,合并更多文件...

seng 发表了文章 • 2016-04-29 10:02

0
投票
2
已解决
630
浏览

python爬虫遇到403如何解决?

djl 回复了问题 • 2018-09-21 15:50
0
投票
1
已解决
361
浏览
0
投票
1
回答
364
浏览
0
投票
2
已解决
1249
浏览
0
投票
0
回答
322
浏览
0
投票
1
回答
400
浏览

python能爬取app内的内容吗?

XXXX 回复了问题 • 2017-04-27 11:18
0
投票
1
回答
457
浏览

Pylink是一种什么工具?

ID王大伟 回复了问题 • 2017-04-20 14:15
0
投票
1
回答
365
浏览
0
推荐
39
浏览

10个爬虫工程师必备的工具了解一哈

作者: 张小吉个人公众号:鸡仔说工欲善其事必先利其器的道理相信大家都懂。而作为经常要和各大网站做拉锯战的爬虫工程师们,则更需要利用利用好身边的一切法器,以便更快的攻破对方防线。今天我就以日常爬虫流程...

Python爱好者社区 发表了文章 • 1 天前

0
推荐
42
浏览

【AI白身境】学深度学习你不得不知的爬虫基础

文章发布于公号【数智物语】 (ID:decision_engine),关注公号不错过每一篇干货。转自 | 有三AI作者 | 汤兴旺 言有三所谓白身,就是什么都不会,还没有进入角色。对于深度学习,一个好的数据集可以说非常...

数智物语 发表了文章 • 2 天前

0
推荐
54
浏览

一文入门Python + Selenium动态爬虫——从了解房价开始

作者:timber ,在一家电子商务(外贸)公司任职运维,平常工作时我觉得敲命令的样子也很帅    ---Python,Changed me!个人博客地址: https://blog.csdn.net/weixin_42946604本文首发于:htt...

Python爱好者社区 发表了文章 • 3 天前

1
推荐
91
浏览

Scrapy爬取京东某书评论

作者:国服帅座  经济学在读硕士公众号:统计之家无论是爬取静态网页,还是利用高德地图API获得数据,本文作者都偏好使用requests模块。在本文中,本人爬取京东书评,运用的是Scrapy框架。观察页面结构首先...

国服帅座 发表了文章 • 2019-02-14 16:41

0
推荐
72
浏览

爬了下Unsplash上的高清壁纸,总有一款适合你

 作者:强哥,现供职于一家大型全球电子商务网站,多年Python程序员,热爱数据,热爱AI,希望能与更多同业人交流。 个人公众号:Python与数据分析Unsplash是个高清摄影图片的网站,里面的照片非常精美...

Python爱好者社区 发表了文章 • 2019-02-13 10:35

0
推荐
59
浏览

大年初六中午,全国各区县哪里最冷?

作者:国服帅座 经济学在读硕士微信公众号:统计之家认识高德地图API在先前的文章中,我们曾了解过如何在高德地图上爬取某地未来三日的天气预报情况。在本文中,我们要使用的是同一个API,获得全国各区县的实时气...

国服帅座 发表了文章 • 2019-02-12 19:14

0
推荐
46
浏览

爬取国内创业公司、投资机构、独角兽公司信息

作者:  苏克1900公众号:第2大脑摘要: 之前爬的网站都是不需要登录就可以爬取的,但还有很多网站的内容需要先登录才能爬,比如桔子网、豆瓣、知乎等。这时采用之前的方法就不行了,需要先登录再去爬...

Python爱好者社区 发表了文章 • 2019-02-11 12:38

1
推荐
110
浏览

这是一份【洗浴推拿指南】,敬请查收!

作者:国服帅座  经济学在读硕士公众号:统计之家冷风如刀,以大地为砧板,视众生为鱼肉。                             &nbs...

国服帅座 发表了文章 • 2019-01-30 08:27

1
推荐
115
浏览

听说过高德版本的天气预报么

作者:国服帅座    经济学在读硕士知乎ID:国服帅座有了高德地图的导航,我们能踏遍祖国的绿水青山。其实,高德本身也是一座金山银山,蕴藏着丰富的数据资源。至于国服帅座,愿为一枚小小的数据搬运工...

国服帅座 发表了文章 • 2019-01-24 11:24

2
推荐
195
浏览

Python调用百度地图API爬取经纬度

作者:国服帅座  经济学在读硕士微信公众号:统计之家你吃肯德基,我点麦当劳。本是替代品,却众口难调。每个人都有独特的偏好,都有一份要坚守的情怀。高德与百度,你心仪哪款呢?认识百度地图API百度与高...

国服帅座 发表了文章 • 2019-01-20 18:12

0
推荐
167
浏览

Python调用高德地图API爬取经纬度

作者:国服帅座  经济学在读硕士知乎专栏:https://zhuanlan.zhihu.com/c_1051263791760863232认识高德地图API比起普通的静态网页爬虫,爬高德地图的麻烦之处在于API中存在参数。这需要我们首先要对高德地图...

国服帅座 发表了文章 • 2019-01-20 17:59

0
推荐
161
浏览

爬虫三步走——以R语言爬取经纬度为例

作者:国服帅座  经济学在读硕士知乎专栏:https://zhuanlan.zhihu.com/c_1051263791760863232爬虫三步走,或者三步骤,或者三部曲,爱咋叫咋叫。第一步,爬取单个数据;第二步,整合为函数;第三步,for循...

国服帅座 发表了文章 • 2019-01-20 17:50

0
推荐
135
浏览

当你写爬虫时遇上Flash+加密的解决方式

作者:loco   Python爱好者社区专栏作者知乎: https://zhuanlan.zhihu.com/p/45508079今天在摸鱼(划掉)逛V2EX的时候,有个帖子引起了我的注意求助一个网站视频加密方式, 已排除是 base64 加密...

Python爱好者社区 发表了文章 • 2018-12-28 13:01

1
推荐
182
浏览

点评网的反爬再也不是烦恼

作者:强哥,现供职于一家大型全球电子商务网站,多年Python程序员,热爱数据,热爱AI,希望能与更多同业人交流。个人公众号:Python与数据分析点评网的反爬设置在我们爬取点评网页的时候给我们造成了不小的障碍...

Python爱好者社区 发表了文章 • 2018-12-05 10:50

1
推荐
234
浏览

分析了 6000 款 App,竟有这么多佳软神器没用过

作者:  苏克1900公众号:第2大脑摘要: 如今移动互联网越来越发达,各式各样的 App 层出不穷,也就产生了优劣之分,相比于普通 App,我们肯定愿意去使用那些良心佳软,但去发现这些 App 并不太容易,...

Python爱好者社区 发表了文章 • 2018-12-04 13:13