加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > 安全 > 正文

Scala中的范围和内存问题

发布时间:2020-12-16 18:42:25 所属栏目:安全 来源:网络整理
导读:我有一个非常大的数字列表,经过大量的数学操作.我只关心最终的结果.要模拟此行为,请参阅下面的示例代码: object X { def main(args:Array[String]) = { val N = 10000000 val x = List(1 to N).flatten println(x.slice(0,10)) Thread.sleep( 5000) val y =
我有一个非常大的数字列表,经过大量的数学操作.我只关心最终的结果.要模拟此行为,请参阅下面的示例代码:

object X { 
def main(args:Array[String]) = {
    val N = 10000000
    val x = List(1 to N).flatten
    println(x.slice(0,10))
    Thread.sleep( 5000)
    val y = x.map(_*5)
    println(y.slice(0,10))
    Thread.sleep( 5000)
    val z = y.map( _+4)
    println(z.slice(0,10))
    Thread.sleep( 5000)
}
     }

所以x是一个非常大的列表.我只关心结果z.为了获得z,我首先必须在数学上操纵x来得到y.然后我操纵y得到z. (我不能一步从x到z,因为操作非常复杂.这只是一个例子.)

因此,当我运行这个例子时,我的内存耗尽,大概是因为x,y和z都在范围内,它们都占用了内存.

所以我尝试以下方法:

def main(args:Array[String]) = {
    val N = 10000000
    val z = {
            val y = {
                val x = List(1 to N).flatten
                println(x.slice(0,10))
                Thread.sleep( 5000)
                x

            }.map(_*5)

            println(y.slice(0,10))
            Thread.sleep( 5000)
            y

    }.map( _+4)
    println(z.slice(0,10))
    Thread.sleep(5000)
}

所以现在只有z在范围内.因此可能会创建x和y,然后在它们超出范围时收集垃圾.但这不是发生的事情.相反,我再次耗尽内存!

(注意:我使用的是java -Xincgc,但它没有帮助)

问题:当我只有1个大型列表有足够的内存时,我是否能以某种方式仅使用val来操作它(即没有可变的vars或ListBuffers),也许使用作用域强制gc?如果是这样,怎么样?
谢谢

解决方法

你尝试过这样的事吗?

val N = 10000000
val x = List(1 to N).flatten.view // get a view
val y = x.map(_ * 5)
val z = y.map(_ + 4)
println(z.force.slice(0,10))

它应该有助于避免为y和z创建中间完整结构.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读