从Delphi中的CSV文件导入和处理数据

“收到的反馈说这很糟糕,因为对于大型文件来说这很慢.”

CSV文件通常用于移动数据(在大多数情况下,我遇到的文件大约是1MB到10MB,但这并不是说其他??人不会以CSV格式转储更多数据)而不用担心太多(如果在所有)关于进口/出口,因为它非常简单.

假设您有一个80MB的CSV文件,现在这是一个你想要处理的文件,否则(取决于你的处理)你可以吃掉数百MB的RAM,在这种情况下我会做的是：

while dataToProcess do begin
  // step1
  read <X> lines from file,where <X> is the max number of lines 
  you read in one go,if there are less lines(i.e. you're down to 50 lines and X is 100)
  to process,then you read those
  // step2
  process information
  // step3
  generate output,database inserts,etc.
end;

在上面的例子中,你没有将80MB的数据加载到RAM中,而只加载几百KB,其余的用于处理,即链接列表,动态插入查询(批量插入)等.

“……但由于使用了TADODataset,我被标记下来并没有接受采访.”

我并不感到惊讶,他们可能正在寻找您是否有能力创建算法并在现场提供简单的解决方案,但不使用“现成的”解决方案.

他们可能会考虑使用动态数组并创建一个(或多个)排序算法.

“我应该使用String Lists还是类似的东西？”

回应可能是相同的,我认为他们想看看你的“工作”方式.