本人现在需要用kettle抽取一个http协议的数据,源数据每天生成一个文件夹,文件夹下有多个txt文件,内容为json,有哪位大牛有类似的抽取demo么?

0
已邀请:
2

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2015-09-01 回答

根据个人的实际项目经验。在这种方式下不建议使用Kettle来出来。因为Kettle毕竟只是一个工具。简单的请求HTTP数据是可以的,但是像你这么复杂的很多文件的,数据还是Json的,建议你通过程序请求调用的方式来出来,这样比较灵活。比如多线程快速获取文件,是否需要断点续传,是否对文件进行校验等等。
以上,纯粹是个人意见,有不同之处,可以随时跟我讨论。
1

子建 - Kettle讲师、顾问、数据仓库架构 2015-09-02 回答

kettle里面有读json 的组件的,也可以用JS脚本自己读,把文件夹的名字用变量

要回复问题请先登录注册