scala – 如何在Spark中的每一行添加源文件名？

发布时间：2020-12-16 19:19:49 所属栏目：安全来源：网络整理

导读：我是Spark的新手,我正在尝试使用它来自的文件名向每个输入行插入一列. 我见过其他人问了一个类似的问题,但他们所有的答案都使用了整个文本文件,但是我正在尝试为更大的CSV文件(使用Spark-CSV库读取),JSON文件和Parquet文件(不仅仅是小文本)执行此操作文件).

我是Spark的新手,我正在尝试使用它来自的文件名向每个输入行插入一列.

我见过其他人问了一个类似的问题,但他们所有的答案都使用了整个文本文件,但是我正在尝试为更大的CSV文件(使用Spark-CSV库读取),JSON文件和Parquet文件(不仅仅是小文本)执行此操作文件).

我可以使用spark-shell获取文件名列表：

val df = sqlContext.read.parquet("/blah/dir")
val names = df.select(inputFileName())
names.show

但这是一个数据帧.
我不确定如何将它作为列添加到每一行(如果该结果的排序与初始数据相同,但我认为它总是如此)以及如何将其作为所有输入类型的通用解决方案.

我刚刚发现的另一个解决方案是将文件名添加为DataFrame中的一列

val df = sqlContext.read.parquet("/blah/dir")

val dfWithCol = df.withColumn("filename",input_file_name())

参考：
spark load data and add filename as dataframe column

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!