使用scala-native进行内存数据处理
发布时间：2020-12-16 18:31:47 所属栏目：安全 来源：网络整理
导读：我想知道是否有可能利用 scala-native来执行大型内存中的工作. 例如,假设您有一个需要150GB RAM的spark作业,因此您必须在Spark集群中运行5x30GB执行程序,因为JVM垃圾收集器无法赶上堆大于此的堆. 想象一下,99％的正在处理的数据是集合中的字符串. 你认为scal
|
我想知道是否有可能利用
scala-native来执行大型内存中的工作.
例如,假设您有一个需要150GB RAM的spark作业,因此您必须在Spark集群中运行5x30GB执行程序,因为JVM垃圾收集器无法赶上堆大于此的堆. 想象一下,99％的正在处理的数据是集合中的字符串. 你认为scala-native会对你有帮助吗？我的意思是,作为Spark的替代品？ 它如何处理String？它是否也有这个开销,因为jvm将它视为类？ 在JVM的情况下,内存(“堆”)GC限制为经典的30GB？我最终还会达到30GB的限制吗？ 或者这通常是个坏主意？使用scala-native进行内存数据处理.我的猜测是scala-offheap是更好的方式. 解决方法
内存数据处理是一种用例,与JVM上的Scala相比,scala-native将会发光.
SN支持所有类型的内存分配.静态分配(您可以在C中定义全局变量并使用C函数返回指向它的指针),堆栈分配,基于C malloc / free和动态分配的动态分配(Scala new). 对于字符串,您可以为每个字符串使用8位字符串,每个字符串使用16位Java样式,或者您可以使用@struct和指针在C中实现自己的小字符串优化. 当然,你有时间上的缺点,比如SN仍然是0.1之前的版本,缺少Java库被移植到Scala. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |