加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

java – 如何使用Spring Batch实现步骤的分布式处理

发布时间:2020-12-15 01:46:13 所属栏目:大数据 来源:网络整理
导读:使用Spring批处理,我希望我的步骤可以跨节点分布,并为给定的作业执行它们.我有一个用例,其中一个作业有多个步骤,每个步骤可以在托管应用程序的多个节点中运行.有人试过吗?任何想法都将受到高度赞赏! 最佳答案 有两种方法: Remote chunking 您在主节点上读

使用Spring批处理,我希望我的步骤可以跨节点分布,并为给定的作业执行它们.我有一个用例,其中一个作业有多个步骤,每个步骤可以在托管应用程序的多个节点中运行.有人试过吗?任何想法都将受到高度赞赏!

最佳答案
有两种方法:

> Remote chunking – 您在主节点上读取数据并在从站上处理/写入它们
> Remote partitioning – 您将数据集分割为分区,并在远程节点中读取/处理/写入分区.所以master只是协调和决定如何切片分区.

我写了一本关于Enterprise Spring的书,我创建了两种方法的例子.这些是hosted on Github.查看示例0939和0940.不幸的是,所有关于如何手动运行它们的注释仅在书中.希望您能够从集成测试中找到答案.

预先要求是将消息中间件(例如ActiveMQ或HornetQ)用于主从通信,并且它还使用Spring Integration来促进这种通信.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读