加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

即使在删除时,perl内存也会在哈希中膨胀?

发布时间:2020-12-16 06:26:16 所属栏目:大数据 来源:网络整理
导读:我有一个很长的perl脚本来缓存文件中的一些信息 在哈希中,每隔一段时间(这里,每100000个位置), 它打印该窗口的哈希值,然后尝试 删除散列中的大部分内容,小缓冲区除外 用于下一次迭代. 我说它试图删除内容,因为我的脚本爆炸了 在内存使用中,直到它使用所有内
我有一个很长的perl脚本来缓存文件中的一些信息
在哈希中,每隔一段时间(这里,每100000个位置),
它打印该窗口的哈希值,然后尝试
删除散列中的大部分内容,小缓冲区除外
用于下一次迭代.

我说它试图删除内容,因为我的脚本爆炸了
在内存使用中,直到它使用所有内存和崩溃.即使它
似乎delete语句正在减少哈希中的键数
(见下面的打印STDERR)只有少数元素,
脚本的内存消耗猛增,就好像它没有删除一样
内容.如果我注释掉删除语句,它使用相同的
记忆的数量,唯一的区别是它需要更长的时间
重复.删除后似乎减少了键的数量
命令,但不是值的数量.

我确保阅读和没有奇怪的缓冲
输出结果.事实上,如果脚本没有内存不足
我只是注释掉使用%hash的地方,所以我缩小了它
到填写和删除%hash中的条目.

我也尝试使用hashref而不是%hash,但仍然如此
发生.

怎么会在记忆中爆炸?我错过了什么明显的东西
这里?

my %hash;
# while ( Read from input ) {
# Fill hash here and there with: $hash{$this_p}{$this_c}++
# ...
# Then every 100000 entries
 if ( not $pos % 100000 ) {
    print STDERR "pre ",scalar %hash,"n";
warn total_size(%hash);
    for my $p ( sort { $a <=> $b } keys %hash ) {
        last if ( $p > $max_possible{$subset} );
        if ( $p + $buffer < $pos ) {
            print $out "$pt";
            for my $c ( keys %{ $hash{$p} } ) {
                print $out "$c ". $hash{$p}{$c} . ";";
            }
            print $out "n";
            delete $hash{$p};
        }
    }
    print STDERR "post ","n";
warn total_size(%hash);
  }
#}

输出是这样的:

pre 322484/524288
134297952 at /home/
post 681/524288
4368924 at /home/av
pre 681/524288
4368924 at /home/av
post 681/524288
4368924 at /home/av
pre 681/524288
4368924 at /home/av
post 681/524288
4368924 at /home/av
pre 629257/1048576
260016542 at /home/
post 344/1048576
8477509 at /home/av
pre 1903885/4194304
689633878 at /home/
post 900/4194304
33790436 at /home/a
[...]

这是在64位Linux机器上使用perl v5.14.2.

解决方法

在程序运行时,每次传递中散列的元素数量都在增加. 0键(%hash)会告诉你确切的数字,但下面的分子会相似(但更低)

322484 added
pre  322484/524288
                      321803 cleared (99.8% of added)
post    681/524288
                           0 added
pre     681/524288
                           0 cleared (100.0% of added)
post    681/524288
                           0 added
pre     681/524288
                           0 cleared (100.0% of added)
post    681/524288
                      628576 added
pre  629257/1048576
                      628913 cleared (100.0% of added)
post    344/1048576
                     1903541 added
pre 1903885/4194304
                     1902641 cleared (100.0% of added)
post    900/4194304

分母只是在增长,因为分子正在增长.这不相关.这不是累积增长.即使你每次都有一个新的哈希,它也会变得那么大.

分子只会增长,因为您添加到哈希的元素数量会增加.如您所见,清算代码非常有效.

这根本不像是内存泄漏;看起来你实际上正在使用内存.也许你应该更频繁地清除它?

代替

if (not $pos % 100000) {
    ...
}

使用

if (keys(%hash) >= 1_000_000) {
    ...
}

或者如果你想要定期反馈,

if (++$since_last >= 100_000 || keys(%hash) >= 1_000_000) {
    $since_last = 0;
    ...
}

根据需要调整限制.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读