scala – 使用ftp在Apache Spark中的远程计算机上读取文件
我正在尝试使用ftp在Apache Spark(
Scala版本)中的远程计算机上读取文件.目前,我在
GitHub上关注Databricks的Learning Spark回购中的一个例子.使用curl,我可以下载文件,因此我使用的路径存在.
下面是我尝试执行的代码片段: var file = sc.textFile("ftp://user:pwd/192.168.1.5/brecht-d-m/map/input.nt") var fileDF = file.toDF() fileDF.write.parquet("out") 在尝试对数据帧执行计数后,我得到以下stacktrace(http://pastebin.com/YEq8c2Hf): org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute,tree: TungstenAggregate(key=[],functions=[(count(1),mode=Final,isDistinct=false)],output=[count#1L]) +- TungstenExchange SinglePartition,None +- TungstenAggregate(key=[],mode=Partial,output=[count#4L]) +- Project +- Scan ExistingRDD[_1#0] ... Caused by: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: ftp://user:pwd@192.168.1.5/brecht-d-m/map/input.nt 我会假设该文件无法访问,但这与我能够通过curl检索文件相矛盾: curl ftp://user:pwd@192.168.1.5/brecht-d-m/map/input.nt 这将打印出终端上的特定文件.我没有看到我在Scala代码中做错了什么.我在上面给出的代码片段中是否有错误,或者该代码是完全错误的? 提前致谢, 注意: >指定整个路径(/home/brecht-d-m/map/input.nt)也不起作用(正如预期的那样,因为这在curl中也不起作用;“服务器拒绝您更改到给定目录”).在Spark中尝试这个,给出了不支持seek的IOException(http://pastebin.com/b9EB9ru2). 解决方法
我找到了一个解决方法.通过下面的代码片段:
import org.apache.spark.SparkFiles val dataSource = "ftp://user:pwd/192.168.1.5/brecht-d-m/map/input.nt" sc.addFile(dataSource) var fileName = SparkFiles.get(dataSource.split("/").last) var file = sc.textFile(fileName) 我可以通过FTP下载文件(使用与第一个代码片段相同的URL).此解决方法将首先下载该文件(通过addFile).接下来,我检索文件下载的路径.最后,我使用该路径将该文件加载到RDD中. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |