需要在Windows / Python中快速创建大量新进程

为了测试一些安全软件,我需要能够在 Windows中创建一个大的(可配置的)新进程(不是线程！),非常快,让它们存在一段(可配置的)时间,然后干净地终止.这些过程根本不应该做任何事情 – 只存在指定的持续时间.

最终,我希望能够运行如下：

C:&; python process_generate.py --processes=150 --duration=2500

它可以非常快速地创建150个新进程,使它们在2500毫秒内保持活动状态,然后让它们尽快终止.

作为一个起点,我跑了

from multiprocessing import Process
import os

def f():
    pass

if __name__ == '__main__':
    import datetime
    count = 0
    startime = datetime.datetime.now()
    while True:
        p = Process(target=f)
        p.start()
        p.terminate()
        count += 1
        if count % 1000 == 0:
            now = datetime.datetime.now()
            print "Started & stopped d processes in %s seconds" % (count,str(now-starttime))

并且发现我可以在笔记本电脑上连续创建和终止大约70个进程/秒,创建的进程会立即终止.约70个过程/秒速率持续约一小时的持续时间.

当我将代码更改为

from multiprocessing import Process
import os
import time

def f_sleep():
    time.sleep(1)

if __name__ == '__main__':
    import datetime
    starttime = datetime.datetime.now()

    processes = []
    PROCESS_COUNT = 100
    for i in xrange(PROCESS_COUNT):
        p = Process(target=f_sleep)
        processes.append(p)
        p.start()
    for i in xrange(PROCESS_COUNT):
        processes[i].terminate()
    now = datetime.datetime.now()
    print "Started/stopped %d processes in %s seconds" % (len(processes),str(now-starttime))

并为PROCESS_COUNT尝试了不同的值,我预计它会比它更好地扩展.我得到了不同的PROCESS_COUNT值的以下结果：

> 20个过程在0.72秒内完成
> 1.个过程在1.45秒内完成
在3.68秒内完成> 50个过程
> 14个过程在14秒内完成
> 43个过程在43秒内完成
> 77个过程在77秒内完成
> 111个过程在111秒内完成

这不是我的预期 – 我希望能够以合理线性的方式扩展并行进程计数,直到我遇到瓶颈,但我似乎几乎是直接打击了进程创建的瓶颈.根据我运行的第一个代码,我肯定希望在遇到进程创建瓶颈之前能够创建接近70个进程/秒的东西.

没有完整的规格,笔记本电脑运行完全修补的Windows XP,具有4Gb RAM,否则是空闲的,是相当新的;我认为这不会很快成为瓶颈.

我在使用我的代码做了什么明显的错误,或者在12个月大的笔记本电脑上创建的XP / Python并行进程是否真的效率低下？