Python在用requests库下载图片时,有的时候抛异常?随机抛。

0
就是一个简单的get请求,应该不是网络问题,20兆网络挺稳定。是在下载百度贴吧的图片时出现的。----现在是抛异常了。无缘无故的抛异常,有的时候抛,有的时候不抛。。。
0000.jpg

 
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-05-04 回答

抛出这种异常在爬虫里面是非常正常的,所以才需要有重试机制。
可能会有以下几种情况导致抛出这种异常:
1.你本地的CPU已经很繁忙,导致request请求等不到处理就超时了
2.网络问题,并不是说你自己家的20M的网络就一定不会出现超时,百度的图片一般都是有CDN缓存的,你请求的地址,一般先去找CDN,CDN再去源站验证图片是否有更新。源站还要去图片服务器去找这个图片,在这个过程中任何一步超时,到了爬虫就会反映出timeout来。
 
不定期的话,应该是第二种,重试一下就可以的。

要回复问题请先登录注册