请问python使用urllib2爬虫时,出现HTTP Error 505: HTTP Version Not Supported该怎么处理?

0
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-06-29 回答

一般造成这种情况是你提交到服务器的请求在服务端无法得到解析。可能存在以下几种情况:
1.使用IP抓取网页。目标网站只能使用域名去解析,直接使用IP地址去访问就去报这种错误
2.请求参数中,可能存在空格,需要提前转义的字符等,导致提交到抓取网站时造成未处理的异常。
3.网站强制要求生成cookie,并强制记录cookie的内容,在此种情况下,如果你爬虫提交的参数内容不包含cookies就会导致该类错误。
 
以上,只是简单的列举了可能出现该问题的情况,具体对应的问题还需要具体分析。。
 
你可以换一个第三方包,比如:requests试一下,如果实在不行,采用模拟浏览器的方式也是可以的。

要回复问题请先登录注册