使用scrapy爬取拉勾网的不同职位的数据，该怎么处理？
0
我现在使用scrapy，先通过爬取首页，获取所有的工作类别，然后再通过修改请求头部的数据通过pn获取不同的页数，通过改变kd来实现改变爬取的工作种类
data = {
'first': 'true',
'pn': '1',
'kd': ''
}
我怎么实现所有工作种类并行，然后每个种类在做翻页的爬取
data = {
'first': 'true',
'pn': '1',
'kd': ''
}
我怎么实现所有工作种类并行，然后每个种类在做翻页的爬取
没有找到相关结果
重要提示：提问者不能发表回复，可以通过评论与回答者沟通，沟通后可以通过编辑功能完善问题描述，以便后续其他人能够更容易理解问题.
1 个回复
一只写程序的猿 - 一个圣骑士成熟的标志是不再向盲人解释阳光。公众号：Python攻城狮 2018-01-18 回答
赞同来自:
实现翻页爬取的话用Scrapy的深度爬取
设置对页面页码的提取规则