python generator：并行解压整个发生器

发布时间：2020-12-20 11:21:37 所属栏目：Python 来源：网络整理

导读：假设我有一个生成器,其next()函数有点贵,我想尝试并行化调用.我在哪里投入平行化？稍微具体一点,请考虑以下示例： # fast,splitting a file for exampleraw_blocks = (b for b in block_generator(fin))# slow,reading blocks,checking values ...parsed_bl

假设我有一个生成器,其next()函数有点贵,我想尝试并行化调用.我在哪里投入平行化？

稍微具体一点,请考虑以下示例：

# fast,splitting a file for example
raw_blocks = (b for b in block_generator(fin))
# slow,reading blocks,checking values ...
parsed_blocks = (block_parser(b) for b in raw_blocks)
# get all parsed blocks into a data structure
data = parsedBlocksToOrderedDict(parsed_blocks)

最基本的是将第二行更改为进行并行化的内容.是否有一些发生器魔法允许人们并行解包发电机(在3号线)？并行调用next()？

解决方法

不可以.您必须按顺序调用next(),因为任何非平凡的生成器的下一个状态都由其当前状态决定.

def gen(num):
    j=0
    for i in xrange(num):
        j += i
        yield j

没有办法将调用并行化到上面的生成器,而不知道它在每个点产生一个值的状态.但如果你知道,你就不需要运行它.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!