大神们,请教个问题,我做爬虫用的scrapy框架,使用了代理ip,目前有个问题,我用框架做爬虫每次爬取一个网址,都会从数据库中读取一个IP,这样会造成IP不够用,请问有什么办法能够设置爬取网址一直用一个IP,等IP不行了再从数据库读取下一个IP吗?
0
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
1 个回复
一只写程序的猿 - 一个圣骑士成熟的标志是不再向盲人解释阳光。公众号:Python攻城狮 2018-01-18 回答
赞同来自:
具体代码怎么写要根据你自己的项目