平面文件的数据导入到数据库中

平面文件的数据是从sql server数据库中来的，可是数据里包括多种分隔符，有，tab，丨等等，我该如何把数据导入到另一个数据库中

重要提示：提问者不能发表回复，可以通过评论与回答者沟通，沟通后可以通过编辑功能完善问题描述，以便后续其他人能够更容易理解问题.

9 个回复

天桥下的郑成功 - Hadoop大数据开发工程师、数仓架构师、熟悉数据仓库设计、Hadoop、Spark、HBase、Hive、SSIS等开发 2015-07-20 回答

能贴个图或者把你原始数据的格式贴出来
然后要导到哪里去说一下吗

dingdingstar 2015-07-20 回答

我要从sql server数据库导入到mysql中
要考虑到效率问题

我的解决方案是先从sqlserver导入到文本文件，再从文本文件导入到数据库

dingdingstar 2015-07-20 回答

原始数据里包括附件中的分隔符

天桥下的郑成功 - Hadoop大数据开发工程师、数仓架构师、熟悉数据仓库设计、Hadoop、Spark、HBase、Hive、SSIS等开发 2015-07-20 回答

原始数据就包含了这些分隔符？
还是你从 SQL到文本的时候加的

dingdingstar 2015-07-20 回答

原始数据里包含

天桥下的郑成功 - Hadoop大数据开发工程师、数仓架构师、熟悉数据仓库设计、Hadoop、Spark、HBase、Hive、SSIS等开发 2015-07-20 回答

直接从 SQL 导到 MySql吧
过来的时候，在数据流里使用 ScriptComponent组件编写C#代码。
对每行数据进行处理，根据你说的这些字符进行拆分

这里有一个文章你看看，对你应该有帮助
http://www.cnblogs.com/biwork/p/4148974.html

dingdingstar 2015-07-20 回答

我还有一个问题就是这样做后期可以做增量处理吗

天桥下的郑成功 - Hadoop大数据开发工程师、数仓架构师、熟悉数据仓库设计、Hadoop、Spark、HBase、Hive、SSIS等开发 2015-07-20 回答

可以的，只要你的源表有自增ID 或者 UpdateTime 这种类型的字段
就可以做。。。数据量不大的话也可以 Merge

dingdingstar 2015-07-20 回答

好的，谢谢，能把你qq给我一下啊吗

要回复问题请先登录或注册