scala – Apache Spark和域驱动设计

发布时间：2020-12-16 19:14:28 所属栏目：安全来源：网络整理

导读：我有点抽象的问题.我最近一直在和 Scala一起使用Apache Spark(也是Streaming和SQL).我的大多数Spark作业基本上将RDD / Dataframe从一个类移动到另一个类,其中每个类对输入执行一些转换. 我最近也在阅读有关Domain Driven Design的内容,这让我想到了如何使用D

我有点抽象的问题.我最近一直在和 Scala一起使用Apache Spark(也是Streaming和SQL).我的大多数Spark作业基本上将RDD / Dataframe从一个类移动到另一个类,其中每个类对输入执行一些转换.

我最近也在阅读有关Domain Driven Design的内容,这让我想到了如何使用DDD来模拟我的Spark程序.我得说我发现使用DDD概念来模拟Spark代码要比非Spark代码更难(可能是因为它主要执行转换或IO).我可以考虑如何创建无处不在的语言,而不是如何在Spark代码本身中实际应用它.

我试过谷歌搜索如何使用Spark与DDD,但无法找到任何关于它,所以我想知道：

>我是否遗漏了有关如何在Spark代码上应用DDD概念的内容？
>也许Spark工作如此专注于ETL,他们实际上并不需要使用DDD？如果不是这样,有人可以解释她/他如何在Spark代码中使用DDD概念？也许一些例子可能有用

我希望这是一个合理的问题 – 如果没有,我道歉

提前致谢

解决方法

Spark的DSL和DDD是截然不同的抽象.你所面临的挑战源于两个抽象之间的“距离”.这是复杂系统设计中的一个常见问题,它表明缺少抽象来弥合这两者.在您的情况下,这将是一个适合DDD的抽象,然后通过DSL“生成”Spark转换. Scala非常适合构建这样的抽象.有关可能的提示,请参阅： https://databricks.com/session/the-smart-data-warehouse-goal-based-data-production

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!