scala – 将Spark DataSet行值映射到新的哈希列

发布时间：2020-12-16 18:19:18 所属栏目：安全来源：网络整理

导读：将以下DataSet值指定为inputData： column0 column1 column2 column3A 88 text 99Z 12 test 200T 120 foo 12 在Spark中,什么是计算新哈希列的有效方法,并将其附加到新的DataSet hashedData,其中哈希定义为MurmurHash3在inputData的每个行值上的应用. 具体来

将以下DataSet值指定为inputData：

column0 column1 column2 column3
A       88      text    99
Z       12      test    200
T       120     foo     12

在Spark中,什么是计算新哈希列的有效方法,并将其附加到新的DataSet hashedData,其中哈希定义为MurmurHash3在inputData的每个行值上的应用.

具体来说,hashedData为：

column0 column1 column2 column3 hash
A       88      text    99      MurmurHash3.arrayHash(Array("A",88,"text",99))
Z       12      test    200     MurmurHash3.arrayHash(Array("Z",12,"test",200))
T       120     foo     12      MurmurHash3.arrayHash(Array("T",120,"foo",12))

如果需要更多细节,请告诉我.

任何帮助表示赞赏.谢谢！

解决方法

一种方法是使用withColumn函数：

import org.apache.spark.sql.functions.hash
dataset.withColumn("hash",hash(dataset.columns.map(col):_*))

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!