c#-4.0 – 限制流式资源并行操作的进度

// The below code is an example of the structure of the code,there are some 
// omissions around handling of tasks that do not run to completion that should be in production code

SemaphoreSlim semaphore = new SemaphoreSlim(Environment.ProcessorCount * someMagicNumber);
foreach (var result in StreamResults()) 
{
  semaphore.Wait();
  var task = DoWorkAsync(result).ContinueWith(t => semaphore.Release());
  ...
}

这是为了避免将太多结果带入内存并且程序无法应对(通常通过OutOfMemoryException证明).尽管代码有效并且性能合理,但它仍然感觉笨拙.值得注意的是,someMagicNumber乘数虽然通过分析进行了调整,但可能不尽如人意,并且不能适应DoWorkAsync实现的变化.

就像线程池可以克服调度许多事情来执行的障碍一样,我希望能够克服根据可用资源调度许多要加载到内存中的障碍的障碍.

由于决定是否会发生OutOfMemoryException确定无法确定,我感谢我所寻找的东西可能只能通过统计手段实现,甚至根本不能实现,但我希望我遗漏了一些东西.