python – apache_beam.transforms.util.Reshuffle()不适用于G

发布时间：2020-12-16 22:29:34 所属栏目：Python 来源：网络整理

导读：我已经通过pip install升级到最新的apache_beam [gcp]包upgrade apache_beam [gcp].但是,我注意到Reshuffle()没有出现在[gcp]发行版中.这是否意味着我将无法在任何数据流管道中使用Reshuffle()？有没有办法解决？或者pip包可能不是最新的,如果Reshuffle()在g

我已经通过pip install升级到最新的apache_beam [gcp]包–upgrade apache_beam [gcp].但是,我注意到Reshuffle()没有出现在[gcp]发行版中.这是否意味着我将无法在任何数据流管道中使用Reshuffle()？有没有办法解决？或者pip包可能不是最新的,如果Reshuffle()在github上是master,那么它将在数据流上可用吗？

基于对此question的响应,我试图从BigQuery读取数据,然后在将数据写入GCP存储桶中的CSV之前随机化数据.我注意到我用来训练我的GCMLE模型的分片.csv并不是真正随机的.在tensorflow中,我可以随机化批处理,但这只会随机化队列中构建的每个文件中的行,我的问题是当前生成的文件在某种程度上存在偏差.如果在数据流中写入CSV之前有任何关于其他方式进行随机播放的建议,那将非常感激.

最佳答案

一种方法是自己重新创建洗牌.

import random

shuffled_data = (unshuffled_pcoll
        | 'AddRandomKeys' >> Map(lambda t: (random.getrandbits(32),t))
        | 'GroupByKey' >> GroupByKey()
        | 'RemoveRandomKeys' >> FlatMap(lambda t: t[1]))

我剩下的问题是,如果我需要担心code的窗口或ExpandIterable部分

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!