如何在Python中切片生成器对象或迭代器
我想循环一个迭代器的“切片”.我不确定这是否可行,因为我知道切片迭代器是不可能的.我想做的是:
def f(): for i in range(100): yield(i) x = f() for i in x[95:]: print(i) 这当然失败了: --------------------------------------------------------------------------- TypeError Traceback (most recent call last) <ipython-input-37-15f166d16ed2> in <module>() 4 x = f() 5 ----> 6 for i in x[95:]: 7 print(i) TypeError: 'generator' object is not subscriptable 是否有一种pythonic方式来循环生成器的“切片”? 基本上我实际关注的生成器读取一个非常大的文件并逐行执行一些操作.我想测试文件的切片以确保事情按预期执行,但让它在整个文件上运行是非常耗时的. 编辑: import skbio f = 'seqs.fna' seqs = skbio.io.read(f,format='fasta') seqs是一个生成器对象 for seq in itertools.islice(seqs,30516420,30516432): #do a bunch of stuff here pass 上面的代码做了我需要的,但是仍然非常慢,因为生成器仍然遍历所有行.我希望只遍历指定的切片 解决方法
一般来说,answer is
itertools.islice ,但你应该注意,islice不会,也不能,实际上跳过值.它只是在开始产生值之前抓取并丢弃起始值.因此,如果可能的话,当你需要跳过很多值和/或被跳过的值对于获取/计算来说是昂贵的时候,通常最好避免使用islice.如果您可以找到一种不首先生成值的方法,请执行此操作.在您(显然是做作的)示例中,您只需调整范围对象的起始索引.
在尝试在文件对象上运行的特定情况下,拉动大量行(特别是从慢速介质读取)可能并不理想.假设你不需要特定的行,你可以使用一个技巧来避免实际读取文件的大块,同时仍然测试到文件的一些距离,是寻找猜测的偏移,读出到行的末尾(为了丢弃你可能在中间寻找的部分线),然后从那一点开始,你需要很多线.例如: import itertools with open('myhugefile') as f: # Assuming roughly 80 characters per line,this seeks to somewhere roughly # around the 100,000th line without reading in the data preceding it f.seek(80 * 100000) next(f) # Throw away the partial line you probably landed in the middle of for line in itertools.islice(f,100): # Process 100 lines # Do stuff with each line 对于文件的特定情况,您可能还需要查看可以以类似方式使用的 更新:根据您更新的问题,您需要查看您的API文档和/或数据格式,以确切了解如何正确跳过.它看起来像 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |