c# – 多个查找的推荐编程模式

源数据将是CSV,其中包含客户选择加入营销通信的所有电子邮件地址的列表.此CSV文件将每晚完整发送,但将包含记录级日期/时间戳,这将允许我仅选择自上次处理周期以来已修改的记录. CSV文件可能会有数十万行,但每天的预期变化将大大低于此.

我将从CSV中选择数据,并将每行转换为自定义列表< T>宾语.

一旦查询了CSV并且数据已被转换,我将需要比较该List< T>的内容.针对CRM数据库.这是因为CSV文件中包含的任何给定电子邮件地址可能是：

> 300个数据库中的任何一个都不存在
>存在于300个数据库中的一个
>存在于多个数据库中

在主CSV列表中的电子邮件地址与任何CRM数据库之间存在匹配的任何情况下,匹配的CRM记录将使用CSV文件中包含的值进行更新.

在一个很高的,非常通用的层面上,我在想我必须做这样的事情：

foreach(string dbName in masterDatabaseList)
{
    //open db connection

    foreach(string emailAddress in masterEmailList)
    {
        //some helper method that would execute a SQL statement like
        //"IF EXISTS ... WHERE EMAIL_ADDRESS = <emailAddress>" return true;

        bool matchFound = EmailExistsInDb(emailAddress)

        if (matchFound )
        {
            //the current email from the master list does exist in this database
            //do necessary updates and stuff
        }
    }
}

这是最有效的方法吗？我不想热衷于数百次访问300个数据库,以查看主CSV列表中是否存在每个电子邮件.理想情况下,我想生成一条SQL语句：

"SELECT * FROM EMAIL_TABLE WHERE EMAIL_ADDRESS IN(email1,email2,email3,...)"

这将允许对数据库执行单个查询,但我不知道这种方法是否会更好/更有效,特别是因为我必须动态生成SQL并且可能会将其打开以进行注入.

这种情况下的最佳做法是什么？因为我每次都需要比较300个数据库,所以我正在寻找一种能够以最少的处理时间产生最佳结果的方法.在我的生产代码中,我将实现一个多线程方法,以便可以同时处理多个数据库,因此任何方法都需要是线程安全的.