.net – 使用不同的边界并行化多个相关操作

如果您不能使用.Net 4.5,我建议您使用一个线程从磁盘读取,一个线程用于加密,一个线程用于上载.要在它们之间进行通信,您将使用BlockingCollection< byte []>形式的生产者 – 消费者模式.每对螺纹(1-2和2-3)之间.

但由于您可以使用.Net 4.5,因此您可以使用TPL Dataflow,它非常适合此任务.使用TPL数据流意味着您不会浪费线程进行阅读和上传(尽管这很可能对您没什么影响).更重要的是,这意味着您可以轻松地并行化每个块的加密(假设您可以这样做).

你要做的是有一个加密块,一个上传块和一个异步任务(实际上,它不一定是一个完整的任务)从文件读取.
加密块可以配置为并行执行,并且两个块都应配置一些最大容量(否则,限制将无法正常工作,整个文件将尽快读取,这可能导致OutOfMemoryException).

在代码中：

var uploadBlock = new ActionBlock<byte[]>(
    data => uploadStream.WriteAsync(data,data.Length),new ExecutionDataflowBlockOptions { BoundedCapacity = capacity });

var encryptBlock = new TransformBlock<byte[],byte[]>(
    data => Encrypt(data),new ExecutionDataflowBlockOptions
    {
        BoundedCapacity = capacity,MaxDegreeOfParallelism = degreeOfParallelism
    });

encryptBlock.LinkTo(
    uploadBlock,new DataflowLinkOptions { PropagateCompletion = true });

while (true)
{
    byte[] chunk = new byte[chunkSize];
    int read = await fileStream.ReadAsync(chunk,chunk.Length);
    if (read == 0)
        break;
    await encryptBlock.SendAsync(chunk);
}

fileStream.Close();
encryptBlock.Complete();
await uploadBlock.Completion;
uploadStream.Close();