lucene – 是否可以在一个JVM中运行多个map任务？

发布时间：2020-12-15 05:05:30 所属栏目：Java 来源：网络整理

导读：我想在Hadoop中为我的地图任务共享大内存静态数据(RAM lucene索引)？有几种map / reduce任务共享同一个JVM的方法吗？解决方法作业可以通过指定作业配置mapred.job.reuse.jvm.num.tasks来重用任务JVM.如果值为1(缺省值),则不重用JVM(即每个JVM 1个任务).如

我想在Hadoop中为我的地图任务共享大内存静态数据(RAM lucene索引)？有几种map / reduce任务共享同一个JVM的方法吗？

解决方法

作业可以通过指定作业配置mapred.job.reuse.jvm.num.tasks来重用任务JVM.如果值为1(缺省值),则不重用JVM(即每个JVM 1个任务).如果为-1,则JVM可以运行的任务数量(同一作业)没有限制.也可以使用api指定大于1的某个值.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!