多线程 – 消费者 – 生产者：如果内存使用超出特定阈值,则暂停

发布时间：2020-12-15 02:12:27 所属栏目：Java 来源：网络整理

导读：我有一种情况,我的主线程(生产者)在堆上为一个任务分配了一大块内存,有些工作在该缓冲区上,然后为工作线程(消费者)提供缓冲区以进行进一步处理(这将首先压缩该数据)然后将其写入磁盘).一旦工作线程完成了它的工作,它就会释放生产者为该任务获取的内存. 但是,

我有一种情况,我的主线程(生产者)在堆上为一个任务分配了一大块内存,有些工作在该缓冲区上,然后为工作线程(消费者)提供缓冲区以进行进一步处理(这将首先压缩该数据)然后将其写入磁盘).一旦工作线程完成了它的工作,它就会释放生产者为该任务获取的内存.

但是,可能存在这样的情况：我的主线程分配了太多内存,因此我的系统开始将其他程序交换到磁盘以满足内存要求.由于磁盘变得繁忙,工作线程发现很难在磁盘上写入(最终释放任何内存),同时生产者继续为其他任务分配更多内存.这最终会破坏我系统的性能.

什么可以成为这个问题的好设计？

此外,如果通过预先计算内存要求暂停主线程,可以提前选择如何获得可靠的数字？

可能的设计选择

> single-producer-multiple-consumers阻止生产者和工人之间的队列
>原子任务收件箱中的每个工作人员在拉动和生产者中循环任务,并且无法发布时忙着旋转/阻塞(我认为Herb Sutter在他的一个并发讲座中使用了这个设计)

在内存分配方面,确定性是有益的,即使是在启动时预先分配所有内容的确定性.严格来说并不总是可行或实际的,因此通常在任何非平凡的系统中都会发生固定/动态大小调整和启动/运行时分配的组合.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!