1
推荐
1908
阅读
Python Scrapy 下载相同 url 的（重复的）图片
公司布置了个任务，要下载国内某汽车网站的信息，下载汽车图片时，发现不同的页面存在相同的图片URL，这时scrapy不会再下载第二次，遂修改Request的 dont_filter 的参数为True，然而并没有什么卵用，这应该是Pipeline的BUG，鼓捣一番之后，在某论坛上找到一哥们的文章，就是在media.py里的MediaPipeline，也就是ImagePip...