爬虫项目,求大神帮忙出下建议,急~~~~
0
之前我们的项目是根据用户需求生成要爬取的url,将url push到redis里,然后python项目将redis列队里的url依次爬取.问题就是列队url多的话 爬取时间过长 用户体验不好.
我的想法是生成url后,python那边直接调java接口,得到url直接解析.这种方法可行不?
我的想法是生成url后,python那边直接调java接口,得到url直接解析.这种方法可行不?
没有找到相关结果
重要提示：提问者不能发表回复，可以通过评论与回答者沟通，沟通后可以通过编辑功能完善问题描述，以便后续其他人能够更容易理解问题.
1 个回复
GeorgeYao - 路漫漫其修远兮，吾将上下而求索！ 2016-08-24 回答
赞同来自: seng
有什么问题，可以留言咨询他。