Python不捕捉MemoryError

发布时间：2020-12-16 23:30:30 所属栏目：Python 来源：网络整理

导读：我已经包装了一些可以用try / except块的内存不足的代码.但是,虽然生成了MemoryError,但它并没有被捕获. 我有以下代码： while True: try: self.create_indexed_vocab( vocab ) self.reset_weights() break; except MemoryError: # Stuff to reduce size of

我已经包装了一些可以用try / except块的内存不足的代码.但是,虽然生成了MemoryError,但它并没有被捕获.

我有以下代码：

while True:
        try:
            self.create_indexed_vocab( vocab )
            self.reset_weights()
            break;
        except MemoryError:
            # Stuff to reduce size of vocabulary
            self.vocab,self.index2word = None,None
            self.syn0,self.syn1 = None,None

            self.min_count += 1
            logger.info( ...format string here... )

我得到以下追溯：

File "./make_model_tagged_wmt11.py",line 39,in <module>
  model.build_vocab(sentences)
File "/root/CustomCompiledSoftware/gensim/gensim/models/word2vec.py",line 236,in build_vocab
  self.reset_weights()
File "/root/CustomCompiledSoftware/gensim/gensim/models/word2vec.py",line 347,in reset_weights
  self.syn0 += (random.rand(len(self.vocab),self.layer1_size) - 0.5) / self.layer1_size
File "mtrand.pyx",line 1044,in mtrand.RandomState.rand (numpy/random/mtrand/mtrand.c:6523)
File "mtrand.pyx",line 760,in mtrand.RandomState.random_sample (numpy/random/mtrand/mtrand.c:5713)
File "mtrand.pyx",line 137,in mtrand.cont0_array (numpy/random/mtrand/mtrand.c:1300)
MemoryError

我在Ubuntu 12.04下运行Python 2.7.3

reset_weights行self.syn0正是我期望引发异常的行(它分配一个大数组).令人困惑的是,我无法捕获内存错误,并且会使数组的大小变小.

是否有特殊情况导致MemoryError无法被捕获？

解决方法

请注意,由于底层内存管理架构(C的malloc()函数),解释器可能并不总是能够从这种情况中完全恢复;但是它引发了一个异常,以便可以打印堆栈追溯,以防万一出现程序的原因.

(见the docs)

通常,您可以捕获MemoryErrors.当不知道MemoryError被抛出的时候究竟发生了什么,我猜你可能无法抓住它,当狗狗真的击中了风扇,并没有更多的内存来处理它.

此外,由于您可能无法真正恢复(见上文),因此抓住它可能并不太有意义.您应该真的避免内存不足,并限制程序使用的内存量.只允许列表的大小有限.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!