scala – Spark textFile vs wholeTextFiles
发布时间：2020-12-16 09:26:42 所属栏目：安全 来源：网络整理
导读：我理解textFile为每个文件生成分区的基本理论,而wholeTextFiles生成一对RDD的对值,其中键是每个文件的路径,值是每个文件的内容. 现在,从技术角度来看,有什么区别： val textFile = sc.textFile("my/path/*.csv",8)textFile.getNumPartitions 和 val textFile
|
我理解textFile为每个文件生成分区的基本理论,而wholeTextFiles生成一对RDD的对值,其中键是每个文件的路径,值是每个文件的内容.
现在,从技术角度来看,有什么区别： val textFile = sc.textFile("my/path/*.csv",8)
textFile.getNumPartitions
和 val textFile = sc.wholeTextFiles("my/path/*.csv",8)
textFile.getNumPartitions
在这两种方法中,我生成了8个分区.那么我为什么要首先使用wholeTextFiles,它对textFile的好处是什么？ 解决方法
正如您所提到的,主要区别在于textFile将返回一个RDD,每行作为一个元素,而wholeTextFiles返回一个PairRDD,其中键是文件路径.如果不需要根据文件分离数据,只需使用textFile.
使用textFile读取未压缩的文件时,它会将数据拆分为32MB的块.从记忆角度来看,这是有利的.这也意味着行的排序会丢失,如果要保留顺序,则应使用wholeTextFiles. wholeTextFiles将立即读取文件的完整内容,它不会部分溢出到磁盘或部分垃圾收集.每个文件将由一个核心处理,每个文件的数据将是一台机器,使得分配负载更加困难. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |