加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > MsSql教程 > 正文

sql-server – 如何使用SSIS从平面文件中删除重复的行?

发布时间:2020-12-12 07:29:07 所属栏目:MsSql教程 来源:网络整理
导读:首先我要说的是,能够从平面文件中获取1700万条记录,推送到远程盒子上的数据库并花费7分钟是令人惊讶的. SSIS真的太棒了.但是现在我有那些数据,如何删除重复数据? 更好的是,我想获取平面文件,从平面文件中删除重复项并将它们放回另一个平面文件中. 我在考虑:
首先我要说的是,能够从平面文件中获取1700万条记录,推送到远程盒子上的数据库并花费7分钟是令人惊讶的. SSIS真的太棒了.但是现在我有那些数据,如何删除重复数据?

更好的是,我想获取平面文件,从平面文件中删除重复项并将它们放回另一个平面文件中.

我在考虑:

数据流任务

>文件源(带有关联的文件连接)
>一个for循环容器
>一个脚本容器,包含一些逻辑来判断是否存在另一行

亲爱的,这个网站上的每个人都非常了解.

更新:I have found this link,might help in answering this question

解决方法

使用排序组件.

只需选择要对加载的行进行排序的字段,在左下角,您将看到一个复选框以删除重复项.此框仅根据排序条件删除任何重复的行
因此,在下面的示例中,如果我们仅对第一个字段进行排序,则行将被视为重复:

1 | sample A |
1 | sample B |

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读