如何从Scala Spark DataFrameReader csv记录格式错误的行

发布时间：2020-12-16 18:29:07 所属栏目：安全来源：网络整理

导读：Scala_Spark_DataFrameReader_csv的文档表明spark可以记录在读取.csv文件时检测到的格式错误的行. – 如何记录格式错误的行？ – 可以获得包含格式错误行的val或var吗？链接文档中的选项是： maxMalformedLogPerPartition(默认值为10)：设置Spark将为每个分

Scala_Spark_DataFrameReader_csv的文档表明spark可以记录在读取.csv文件时检测到的格式错误的行.
– 如何记录格式错误的行？
– 可以获得包含格式错误行的val或var吗？

链接文档中的选项是：
maxMalformedLogPerPartition(默认值为10)：设置Spark将为每个分区记录的最大格式错误行数.超出此数字的格式错误的记录将被忽略

解决方法

如果你正在使用spark 2.3检查_corrupt_error特殊列…根据几个火花讨论“它应该工作”,所以在读取过滤器那些非空cols – 应该有你的错误…你也可以检查input_file_name()sql func

如果你没有使用低于2.3版本,你应该实现一个自定义读取,记录解决方案,因为根据我的测试,_corrupt_error不适用于csv数据源…

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!