c# – 我每天有大约30M行在SQL Server中插入更新我的选择是什么

要加载数据,请清空工作表,通过BCP /批量复制生成数据.加载数据后,您需要进行任何清理和/或转换以准备新加载的数据.完成后,作为最后一步,通过执行实现旧数据和新数据之间的增量所需的更新/删除/插入操作,或者通过简单地截断实际表并重新加载它们,将数据迁移到实际表.

另一个选择,如果你有类似于稳定的数据流入的东西,可能是设置一个守护进程来监视数据的到达,然后进行插入.例如,如果您的数据是平面文件,则通过FTP等将其放入目录中,守护程序可以监视目录中的更改并在内容到达时执行必要的工作(如上所述).

要考虑的一件事是,如果这是一个生产系统,那么执行大量的插入/删除/更新语句可能会在事务处于运行状态时导致阻塞.此外,一个巨大的交易失败和回滚有其自身的缺点：

>回滚可能需要很长时间才能处理.
>在回滚期间保持锁定,因此在数据库中阻塞和其他争用的机会更多.
>最糟糕的是,在所有这一切发生之后,你没有实现前进动作,可以这么说：你需要花费大量的时间和精力,而且你已经回到了起步的地方.

因此,根据您的具体情况,您可能最好以较小批量进行插入/更新/删除,以确保您实现前进.超过24小时的3000万行是c.每秒350.