奇怪!!python 同样的url,为何ie打开的html 和 爬虫返回html的不一样?????

0
使用python爬曲点评数据 提交的网址如下:http://www.dianping.com/search/keyword/2/0_%E7%B1%B3%E7%BA%BF,其中(%E7%B1%B3%E7%BA%BF表示品牌),将网址在浏览器打开返回的门店包括下面的:
 
刀小蛮云南米线(西单大悦城店)  后面还有很多:


屏幕快照_2017-02-16_下午3.06_.43_.png

 
 
但是提交爬虫之后,返回的html中就是其它门店了:
 
"束河人家(南锣鼓巷店)" 
"中8楼(太古里店)" 
下面还有很多
 
也就是说:同样的url,为何ie打开的 和 爬虫返回的不一样?????
 
求教为何会出这样的问题?
 
 
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2017-02-16 回答

ie打开的时候会附带比较多的其他信息,比如你的本机的IP地址,浏览器类型,浏览器版本,cookies等等,比较大的公司的网站一般都多少会有反爬的机制,当爬虫返回的页面与浏览器返回的内容不一致的时候,就需要爬虫完全模拟浏览器的参数提交,通过爬虫来提交request headers,cookies,agent来模拟浏览器访问,获得想要的数据
0

Okqd 2017-02-16 回答

牟老师 但有的品牌返回就是一样的 也是网页返回的机制不一样?我也会按照老师的回复去尝试添加这些信息 谢谢

要回复问题请先登录注册