模拟scala ParStream

发布时间：2020-12-16 18:15:24 所属栏目：安全来源：网络整理

导读：Project Euler问题中一个并不罕见的模式似乎相当于： Stream.from(1).map(f).takeWhile((_0)).foldLeft(0L)(_+_) 其中f是一些昂贵的计算函数,它将正值返回到某个未知点,然后返回零. 我喜欢并行化的东西,特别是当Scala的并行集合和.par使它变得如此简单时.但

Project Euler问题中一个并不罕见的模式似乎相当于：

Stream.from(1).map(f).takeWhile((_>0)).foldLeft(0L)(_+_)

其中f是一些昂贵的计算函数,它将正值返回到某个未知点,然后返回零.

我喜欢并行化的东西,特别是当Scala的并行集合和.par使它变得如此简单时.但是在没有ParStream的情况下,我提出的最好的是：

val BATCH=1024
Stream.from(1,BATCH).flatMap(
  i=>(i until i+BATCH).par.map(f)
).takeWhile((_>0)).foldLeft(0L)(_+_)

这看起来不是很优雅,并且对BATCH值的选择很敏感(但是我的四核可以提高x4速度).

有关更清洁的方法获得相同结果的任何建议吗？

解决方法

好吧,你可以通过1个分组BATCH地图(_.par)中的Stream来使它更优雅,虽然在这种情况下我宁愿使用Iterator – 比Stream轻得多,而且它不会填满当我试验它时,REPL的记忆.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!