java-使用Spring Batch从数据库表中部分提取

发布时间：2020-12-15 01:19:39 所属栏目：大数据来源：网络整理

导读：我有一个带有自动递增整数主键的大型数据库表,我每天都在使用Spring Batch创建该表的摘录,以供其他系统使用. 我正在使用保留前一个提取物中放入的最高ID的方法来设置下一个提取的起点(即在SQL中,其中ID> last_id_extracted).我目前正在使用JDBC对使用普通旧J

我有一个带有自动递增整数主键的大型数据库表,我每天都在使用Spring Batch创建该表的摘录,以供其他系统使用.

我正在使用保留前一个提取物中放入的最高ID的方法来设置下一个提取的起点(即在SQL中,其中ID> last_id_extracted).我目前正在使用JDBC对使用普通旧Java的next_id表进行此操作.

是否有更好的方法来使用Spring Batch处理这种提取边界.大概这是批处理中很常见的场景,Spring Batch可以帮上忙吗？

谢谢

最佳答案

您的方法仅在狭义上了解您的数据可能发生的情况.它不考虑对现有数据的删除和修改.

为了使其更健壮,请添加另一个表以作为提取状态,并将数据表的记录ID作为外键.如果和何时上载记录,则“提取状态”表应具有“上次导出日期”日期戳.然后,您可以实施以下规则：

1)如果Exp Stat中没有相应的行,则导出
2)如果最近一次更新是>最后出口,出口
3)如果它存在于Exp状态表中但不存在于数据表中,则将删除消息发送给使用者.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!