C#将大量数据从CSV导入数据库

发布时间：2020-12-15 06:53:26 所属栏目：百科来源：网络整理

导读：将大量数据从CSV(300万行)加载到数据库是最有效的方法. 数据需要格式化(例如,名称列需要分成名字和姓氏等) 我需要尽可能有效地做到这一点,即时间限制我可以选择使用C#应用程序逐行阅读,转换和加载数据？这是理想的,如果没有,我的选择是什么？我应该使用多线

将大量数据从CSV(300万行)加载到数据库是最有效的方法.

>数据需要格式化(例如,名称列需要分成名字和姓氏等)
>我需要尽可能有效地做到这一点,即时间限制

我可以选择使用C#应用程序逐行阅读,转换和加载数据？这是理想的,如果没有,我的选择是什么？我应该使用多线程吗？

您将被I / O绑定,因此多线程不一定会使其运行更快.

上次我这样做,大概是十几行C#.在一个线程中,它运行的硬盘尽可能快地从盘中读取数据.我从源文件一次读取一行.

如果您不热衷于自己编写,您可以尝试使用FileHelpers库.您可能还想看看Sébastien Lorion’s work.他的CSV读取器专门用于处理性能问题.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!