大神们,请教个问题,我做爬虫用的scrapy框架,使用了代理ip,目前有个问题,我用框架做爬虫每次爬取一个网址,都会从数据库中读取一个IP,这样会造成IP不够用,请问有什么办法能够设置爬取网址一直用一个IP,等IP不行了再从数据库读取下一个IP吗?

0
已邀请:
0

一只写程序的猿 - 一个圣骑士成熟的标志是不再向盲人解释阳光。公众号:Python攻城狮 2018-01-18 回答

对你的代码你可以加入验证ip是否可用 不可用换ip 这牵扯到逻辑 你已经想明白了
具体代码怎么写要根据你自己的项目 

要回复问题请先登录注册