python – 如何确定对象是否是PySpark中的有效键值对

发布时间：2020-12-16 22:52:51 所属栏目：Python 来源：网络整理

导读：如果我有一个rdd,我如何理解数据在key：value中格式？有没有办法找到相同的东西像 type(object)告诉我一个对象的类型.我试过打印 type(rdd.take(1)),但它只是说 . 假设我有一个像(x,1),(x,2),(y,3)的数据,我使用 groupByKey和got(x,(1,2)),3)).有没有办法

>如果我有一个rdd,我如何理解数据在key：value中
格式？有没有办法找到相同的东西 – 像
type(object)告诉我一个对象的类型.我试过打印
type(rdd.take(1)),但它只是说< type'list'>.
>假设我有一个像(x,1),(x,2),(y,3)的数据,我使用
groupByKey和got(x,(1,2)),3)).有没有办法定义
(1,2)和(1,3)作为x和y是键的值？或者密钥必须是单个值吗？我注意到如果我使用reduceByKey和sum函数来获取数据((x,3),4))那么将这些数据定义为键值对变得更加容易

最佳答案

Python是一种动态类型语言,PySpark不对键值对使用任何特殊类型.对象被视为PairRDD操作的有效数据的唯一要求是它可以解压缩如下：

k,v = kv

通常,由于其语义(固定大小的不可变对象)和与Scala Product类的相似性,您将使用两元素元组.但这只是一个惯例,没有什么可以阻止你这样的事情：

key_value.py

class KeyValue(object):
    def __init__(self,k,v):
        self.k = k
        self.v = v
    def __iter__(self):
       for x in [self.k,self.v]:
           yield x

from key_value import KeyValue

rdd = sc.parallelize(
    [KeyValue("foo",KeyValue("foo",KeyValue("bar",0)]) 

rdd.reduceByKey(add).collect()
## [('bar',0),('foo',3)]

并使任意类的行为类似于键值.因此,如果某些东西可以正确解压缩为一对对象,那么它就是一个有效的键值.实现__len__和__getitem__魔术方法也应该有效.可能最优雅的方法是使用namedtuples.

此外,type(rdd.take(1))返回长度为n的列表,因此其类型将始终相同.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!