scala – Spark Tachyon：如何删除文件？

发布时间：2020-12-16 18:27:43 所属栏目：安全来源：网络整理

导读：在 Scala中,作为一个实验,我使用Spark在Tachyon上创建一个序列文件并将其重新读入.我想使用Spark脚本从Tachyon中删除该文件. val rdd = sc.parallelize(Array(("a",2),("b",3),("c",1)))rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2")v

在 Scala中,作为一个实验,我使用Spark在Tachyon上创建一个序列文件并将其重新读入.我想使用Spark脚本从Tachyon中删除该文件.

val rdd =  sc.parallelize(Array(("a",2),("b",3),("c",1)))
rdd.saveAsSequenceFile("tachyon://127.0.0.1:19998/files/123.sf2")
val rdd2 = sc.sequenceFile[String,Int]("tachyon://127.0.0.1:19998/files/123.sf2")

我不太了解Scala语言,我找不到有关文件路径操作的参考.我确实找到了一种在Scala中以某种方式使用Java来实现此目的的方法,但我无法使用Tachyon来使用它.

import java.io._
new File("tachyon://127.0.0.1:19998/files/123.sf2").delete()

解决方法

有不同的方法,例如：

> CLI：

./bin/tachyon tfs rm filePath

更多信息：http://tachyon-project.org/Command-Line-Interface.html

> API：

TachyonFS sTachyonClient = TachyonFS.get(args[0]);
sTachyonClient.delete(filePath,true);

更多信息：
https://github.com/amplab/tachyon/blob/master/core/src/main/java/tachyon/examples/BasicOperations.java

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!