scala – 如何在引用的所有字段中保存CSV？

发布时间：2020-12-16 18:13:17 所属栏目：安全来源：网络整理

导读：以下代码不添加双引号,这是默认值.我也尝试使用选项引用添加#和单引号但没有成功.我还使用了带有ALL和NON_NUMERIC选项的quoteMode,但输出中仍然没有变化. s2d.coalesce(64).write .format("com.databricks.spark.csv") .option("header","false") .save(fnam

以下代码不添加双引号,这是默认值.我也尝试使用选项引用添加#和单引号但没有成功.我还使用了带有ALL和NON_NUMERIC选项的quoteMode,但输出中仍然没有变化.

s2d.coalesce(64).write
  .format("com.databricks.spark.csv")
  .option("header","false")
  .save(fname)

我还可以尝试其他选择吗？我在spark 2.1上使用spark-csv 2.11.

它产生的输出：

d4c354ef,2017-03-14 16:31:33,2017-03-14 16:31:46,104617772177,340618697

输出我正在寻找：

“d4c354ef”,”2017-03-14 16:31:33”,”2017-03-14 16:31:46”,340618697

解决方法

tl; dr启用quoteAll选项.

scala> Seq(("hello",5)).toDF.write.option("quoteAll",true).csv("hello5.csv")

以上给出了以下输出：

$cat hello5.csv/part-00000-a0ecb4c2-76a9-4e08-9c54-6a7922376fe6-c000.csv
"hello","5"

这假设引用是“(见CSVOptions)

然而,这不会给你“围绕所有非数字字符的双引号.”抱歉.

您可以在CSVOptions中查看作为CSV读取器和写入器选项源的所有选项.

附： com.databricks.spark.csv目前仅仅是csv格式的别名.您可以互换使用,但较短的csv是首选.

附：使用选项(“header”,false)(false作为布尔值而不是String)将使您的代码更加类型安全.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!