Python爬js加载的页面数据,已试过selenium可用,求其他高效方法~
0
问题:爬虫某小茶叶电商平台网网站的商品数据
网址: http://donghetea.com/category.php?id=36(频道:行情参考)
问题:
爬虫计划>
1、在类目下,获取所有商品的url(已获取行情参考下所有商品url链接)
2、请求每个url,爬取详细的产品年份,规格,价格等。
目前遇到问题~看到商品资料是用js加载。
工具:用python3 requests 和beautifulsoup 解析
我用另外用selenium来模拟打开浏览器,再用beautfulsoup解析获取商品详情页面里的资料。
但是效率太低了,想请教是否有更好的方法~
试过抓包,但是因为太菜,没找到api。
网址: http://donghetea.com/category.php?id=36(频道:行情参考)
问题:
爬虫计划>
1、在类目下,获取所有商品的url(已获取行情参考下所有商品url链接)
2、请求每个url,爬取详细的产品年份,规格,价格等。
目前遇到问题~看到商品资料是用js加载。
工具:用python3 requests 和beautifulsoup 解析
我用另外用selenium来模拟打开浏览器,再用beautfulsoup解析获取商品详情页面里的资料。
但是效率太低了,想请教是否有更好的方法~
试过抓包,但是因为太菜,没找到api。
没有找到相关结果
重要提示:提问者不能发表回复,可以通过评论与回答者沟通,沟通后可以通过编辑功能完善问题描述,以便后续其他人能够更容易理解问题.
0 个回复