scrapy 如何只抓取每天的更新的内容。而不是把昨天抓过的在抓一遍, 求助,谢谢

0
已邀请:
0

一只写程序的猿 - 一个圣骑士成熟的标志是不再向盲人解释阳光。公众号:Python攻城狮 2018-02-01 回答

这就需要在你的代码中设计增量抓取。
代码中加入逻辑判断,如果是新更新的内容,就进行采集保存。如果历史数据,就pass。
0

麋鹿 2018-03-24 回答

在下载中间件中读取数据库里面的url,自己写下去重。

要回复问题请先登录注册