scala – 快速获取数据框中的记录数

发布时间：2020-12-16 08:57:13 所属栏目：安全来源：网络整理

导读：我有一个包含多达1000万条记录的数据框.我怎样才能快速计算？ df.count需要很长时间. 解决方法无论如何,这需要花费很多时间.至少是第一次. 一种方法是缓存数据帧,因此除了count之外,您还可以使用它. 例如 df.cache()df.count() 后续操作不会花费太多时间.

我有一个包含多达1000万条记录的数据框.我怎样才能快速计算？ df.count需要很长时间.

解决方法

无论如何,这需要花费很多时间.至少是第一次.

一种方法是缓存数据帧,因此除了count之外,您还可以使用它.

例如

df.cache()
df.count()

后续操作不会花费太多时间.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!