多终端数据同步机制设计(一)
多终端数据同步机制设计(一)
因为项目需要,需要设计一个多终端数据同步的机制, 需要满足以下条件: 1. 多个终端数据操作及同步 2. 每次同步的时候只拉取需要同步的数据,且数据不能存在丢失 3. 尽可能少的调用服务器端接口
整体同步流程我想仿照Git数据同步的方式来进行数据同步,于是放着Git同步的流程来进行设计,首先每次提交会有一个版本号,另外每次提交之前应尽可能先从服务器端拉取数据, 保证客户端的数据是最新的情况下再进行提交本地的修改。按照Git的方式来进行数据同步时,可能会存在数据冲突,如果存在数据冲突需要客户端解决冲突。 最后服务器端提供了三个接口
思虑再三之后最终产出了下面的流程图: ? 从服务器端获取用户数据的最新版本号客户端调用 从服务器端拉取数据流程从服务器端拉取更新有些麻烦,如果在一台设备上有几个版本没有更新的话,需要考虑将几个版本的数据合并,具体问题以及流程在后文中会提及。 从服务器端拉取数据基本流程如下: ? ? 客户端拉取数据后更新本地数据流程客户端调用 ? 客户端向服务器推送更新客户端调用 服务器端更新数据客户端向服务器端推送更新之后,服务器端需要进行处理。 首先需要判断客户端的版本是否是最新版本,如果不是最新则提示客户端先更新本地数据到最新版本再更新数据,如果是最新的再向下处理。 之后需要将客户端的请求数据(一个json字符串)反序列化转换为请求实体列表,如果转换失败则说明客户端的请求数据是有问题的则不进行处理,如果转换成功再向下处理。 然后遍历请求实体列表,根据请求数据的操作类型进行不同数据操作,每条数据操作完之后设置对应的操作状态。 最后所有请求数据更新完成之后,新增一个版本,并将版本设置到响应。 ?
Pull 数据版本合并从服务器端拉取数据的时候需要考虑到多个版本的提交数据合并问题,我们的数据比较简单是直接更新原来的数据,因此不会涉及到文本分块再合并这一类太复杂的操作,但是也需要将几个版本的修改进行合并,例如新增数据,两个版本各新增两条数据则应返回四条数据才对,一个版本新增另一个版本删除掉的数据就不应该返回给客户端。
这就需要考虑如何高效并且准确的返回客户端需要更新的数据,这里需要提及一下我的版本表的涉及,版本表里除了版本号之外有更新人,更新时间和每次调用 解决方案一:第一种方式,首先我考虑从版本表里取出每次修改成功的数据,再将多个版本的修改进行合并到一个List,再去重,如果遇到两条相同的数据需要进行去重操作,需要根据每条数据的操作类型来判断该如何具体的去重,大致分四种情况:
这里不仅操作类型需要修改,数据内容也是需要进行合并的,需要最新的数据返回。 解决方案二:第二种方式,按照版本的更新时间和数据的创建时间和更新时间的关系来进行筛选数据和判断数据的操作类型,如果数据删除的话只是修改数据的状态并不真正的删除数据。 首先将更新时间大于本地版本对应的版本更新时间的数据查询出来,这些数据是在本地版本更新之后的所有数据, 之后筛选数据,按操作类型可分四种情况:
筛选并判断操作类型之后将数据返回给客户端 综合比较,确定版本合并方案经过分析,第一种方案数据操作起来非常麻烦,相对的第二种解决方案数据操作会很少,可以在数据库层面进行判断筛选,至于数据准确度方面两者差不多, 考虑并发问题的话可以在 调用 Push 接口时根据用户账号进行加锁,综合一下,最终采用第二种解决方案。 Push接口调用Push接口的时候原本没有判断本地的版本号,如果出现客户端没有按照设定的顺序来调用接口可能就会出现不可想象的数据灾难,而且作为接口本身是没办法控制客户端的调用顺序的。 所以,修改后的 Push 接口需要客户端传递一个客户端版本号的参数,如果不是最新版本的数据拒绝提交,并提示客户端先更新数据到最新版本后再提交数据。 时间不统一这个问题算是自己给自己挖的坑,在更新数据的时候时间取的都是网站服务器端时间,但是在新增版本的时候新增的参数里的更新时间用的却是数据库服务器的时间,由于数据库服务器和网站服务器不在一台服务器上,
数据库服务器的时间比网站服务器上的时间慢了几秒,这导致我在从服务器端拉取数据时出现有的数据没有拉取出来的情况,后来debug从数据库中查询数据确实更新了而且版本也正确插入了,最后一一记录每一条数据的更新时间和每个版本的更新时间,
这才发现时间有点不太对,再检查下自己的sql语句,发现新增版本的sql的更新时间用的是 In the end最后,这个设计一定还存在着不足,给自己挖个坑,过一段时间再来填,【数据校验】+【数据分割】,下一次解决这两个问题, 希望大神看到能给出自己的看法和意见,有不正确的地方还希望能够告知。 ? (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
- asp.net – 防止将父web.config继承到IIS 7.5上的子应用程序
- asp.net-mvc – MVC 3 Webgrid专栏
- 如何在ASP.Net Core MVC中使用HTML链接?
- 使用HtmlAnchor或ASP.NET HyperLink作为导航页内命名锚点的
- asp.net-mvc-3 – 无法加载文件或程序集’Microsoft.Practi
- ASP.NET UpdatePanel Javascript回调
- asp.net-core-mvc – 如何在多种环境下管理ASP.NET Core bu
- asp.net – CookieAuthenticationOptions.AuthenticationTy
- asp.net-mvc – MVC UpdateModel和子类与基类
- asp.net-mvc-3 – MailTo链接在Razor
- asp.net – CSS压缩和组合/ js缩小 – 在运行时或
- 在asp.net gridview中如何访问RowDataBound事件中
- asp.net – 在aspx页面中设置会话值
- asp-classic – 会话清除和页面刷新
- asp.net-mvc-3 – 删除Razor MVC 3中的HTML格式
- asp.net-mvc – ASP.NET MVC API或WCF API
- asp.net-mvc – ASP.NET MVC&Windsor.Castle
- 在ASP.NET网站中指定版本号的位置
- asp.net-mvc – ASP.Net MVC和WebAPI加密
- asp.net 多文件上传,兼容IE6/7/8,提供完整代码