scala – 获取Spark RDD的一系列列

发布时间：2020-12-16 18:39:24 所属栏目：安全来源：网络整理

导读：现在我的RDD中有300列,但我发现需要动态选择一系列列并将它们放入LabledPoints数据类型中.作为Spark的新手,我想知道是否有任何索引方式可以在RDD中选择一系列列. R中有一些像temp_data = data [,101：211]的东西.有什么像val temp_data = data.filter(_.colu

现在我的RDD中有300列,但我发现需要动态选择一系列列并将它们放入LabledPoints数据类型中.作为Spark的新手,我想知道是否有任何索引方式可以在RDD中选择一系列列. R中有一些像temp_data = data [,101：211]的东西.有什么像val temp_data = data.filter(_.column_index在范围(101：211)……)？

任何想法都受到欢迎和赞赏.

解决方法

如果它是一个DataFrame,那么这样的东西应该工作：

val df = rdd.toDF
df.select(df.columns.slice(101,211) : _*)

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!