加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > MsSql教程 > 正文

sqlserver导入大量数据步骤

发布时间:2020-12-12 16:06:52 所属栏目:MsSql教程 来源:网络整理
导读:任务就是把几十万的数据导入目标数据库中,数据已经提供了,是excel格式 步骤: ??? 第一步把excel文件都转为xsl文件,利用excel工具另存为就可以了, ??? 第二步创建临时表,写sql将xsl文件中数据导入建好的相对应的表中, 需要的文件有三个,一个是sql文件

任务就是把几十万的数据导入目标数据库中,数据已经提供了,是excel格式
步骤:
??? 第一步把excel文件都转为xsl文件,利用excel工具另存为就可以了,
??? 第二步创建临时表,写sql将xsl文件中数据导入建好的相对应的表中,
需要的文件有三个,一个是sql文件,一个是fmt文件,一个是xsl文件,
sql文件中是建表、建存储过程、执行数据导入的sql,fmt文件中是字段的表示,xsl文件里面则是提供的数据不用管
??? 第三步将做好的几个文件放在一个文件夹在数据库中执行就可以了


怎样写存储过程:
1.如果有则先删除存储过程
2.声明存储过程
3.insert是需要插入正式表的内容
4.查询临时表中的与正式表对应字段的内容,有数值则写值,有字段写字段名,没有则为0
5.写表与表之间的关联

?

怎样做fmt文件:
fmt文件都有一定的格式,第一行数值只有一个则会表示版本号,
第二行则是表示存储过程中需要的字段个数,
需要注意的是最后一行内容中需要有“rn”如若没有则会读取不到这个文件,
也不会报错


执行数据导入的sql示例如下:
use M_OLDISS
go

BULK INSERT dbo.tmp_DL_WORKDAY
FROM
'D:test808t_workdayT_WORKDAY201306.csv'
WITH(
?? FORMATFILE = 'D:test808t_workdaytmp_DL_WORKDAY.fmt'
?,FIRSTROW = 1
)
go

需要注意导入过程中的问题:

1.BULK INSERT会把NULL当成字符串来读取,所以需要把NULL转换为“? ”
2.BULK INSERT会把Excel中的空单元格当作字符串,所以需要把多余的空单元格删除掉,不管是列还是行

3.经常出现主键冲突,有重复的主键:

重复数据有两种可能
(1)表中已存在的数据跟你待插入的数据有重复的:? 删除表中相同的数据 (解决方案)
? (2)你待插入的数据中本身有重复的:?? group by后面的条件不需要的去掉 (解决方案)

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读