Linux上的批处理性能
发布时间：2020-12-13 16:52:11 所属栏目：Linux 来源：网络整理
导读：我的最终用户希望在 Linux机器上同时运行批处理进程.他们的印象是,同时运行多个会减少周转时间.这些过程做了相当多的繁重工作. 我对此的看法是,并发运行只会竞争资源并导致资源争用.一些测试似乎证明了我的假设. 我在SF下面找到了类似的帖子. 任何人都可以指
|
我的最终用户希望在
Linux机器上同时运行批处理进程.他们的印象是,同时运行多个会减少周转时间.这些过程做了相当多的繁重工作.
我对此的看法是,并发运行只会竞争资源并导致资源争用.一些测试似乎证明了我的假设. 我在SF下面找到了类似的帖子. >任何人都可以指出证明理论双方的权威资源吗？ Batch processing on Linux 解决方法
要验证任何假设,您只需同时或并行运行作业并记下结果.如果你有多个cpus,你可能会在一个更好的地方取决于这些是如何执行的.
但要问他们用户为什么这么想.你只有理论.做一个烘烤测试,看看什么需要更少的资源和更少的时间. 注意！：我遇到了同样的问题,但是不是多个ETL,这些作业与备份竞争.停止备份使得ETL快速运行,因此他们指责备份！ (但是停止ETL使备份运行得很快,所以要小心你如何展示你的论点！)由于DBA无法理解他们有磁盘争用,不想改变或做任何事情除了’使备份不影响ETL’,最后我编写了一个脚本,轮询ETLS的结束,只有在完成后才运行,如果在早上7点完成,否则不运行.我们的时间窗口有限. 你想调查像process affinity这样的事情 以及关于磁盘布局/ RAID等I / O的任何调整,标准性能考虑因素. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |