大家好,根据业务我需要在hadoop中把ip转化成实际的地址省份,现在调用的是淘宝的接口,但发现速度实在太慢了,有没有什么好的建议。

0
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-09-25 回答

这个说实话,我也没有什么特别好的建议,有开源的IP地址库,但是更新不及时。
另外跟蓝讯CDN等网络提供商也聊过,使用他们的IP地址库的服务,人民币30多万。
所以,只能自己慢慢抓取。
针对你所说的情况:
1.你说的速度太慢的情况,应该不至于啊,你再研究下,是不是程序处理有问题。可以采用多机器,多线程来抓取地址。
2.可以找我合作,我现在线上也有几台机器在跑,但是数据量还不是很大。

要回复问题请先登录注册