加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Java > 正文

java框架用于聚合和滑动窗口实现

发布时间:2020-12-14 05:27:11 所属栏目:Java 来源:网络整理
导读:我有一个事件流和一个关键的val存储. 值大小限制在4Kb.事件发生率不是很重 – 每天最多数百次. 在这个值中,我需要存储一个数据结构的序列化表示,提供了一个有效的机制,用于在3个月的时间内读取,存储和更新聚合事件计数,每天和每周聚合和1/2小时的滑动窗口.
我有一个事件流和一个关键的val存储.
值大小限制在4Kb.事件发生率不是很重 – 每天最多数百次.

在这个值中,我需要存储一个数据结构的序列化表示,提供了一个有效的机制,用于在3个月的时间内读取,存储和更新聚合事件计数,每天和每周聚合和1/2小时的滑动窗口.

该解决方案需要对简单事件计数聚合和事件计数标准偏差有效执行以下任务.
(以下提到的所有任务的最长期限为3个月):

>不断的更新(懒惰的方式 – 相应的事件到达) – 如果最新计算的聚合太旧 – 抛出过时的数据并创建新的聚合
>由读取请求触发的更新(用户请求某些信息,例如特定用户的事件计数,单个用户的事件计数的标准偏差等),以防最新的计算聚合太旧 – 抛出它们

我想知道有没有任何可以协助实现上述的java开源框架?

我也会欣赏设计建议:设计模式等

该解决方案不难使用标准的Java API从头开始实现,但在这样做之前,我将会欣赏一些开源框架建议(如果有的话).

除了一些理论文章,基于SQL的解决方案和IBM(非开放源代码工具包,叫做SPL),搜索引擎的搜索引擎并没有引导我.

解决方法

看看 Esper.

或StreamCruncher.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读