scala – joinWithCassandraTable在增长的表大小上变慢了

发布时间：2020-12-16 10:00:12 所属栏目：安全来源：网络整理

导读：我目前正在使用这个堆栈： Cassandra 2.2(多节点) Spark / Streaming 1.4.1 Spark-Cassandra-Connector 1.4.0-M3 我有这个DStream [Ids],RDD计数大约6000-7000个元素. id是分区键. val ids: DStream[Ids] = ...ids.joinWithCassandraTable(keyspace,tableNam

我目前正在使用这个堆栈：

> Cassandra 2.2(多节点)
> Spark / Streaming 1.4.1
> Spark-Cassandra-Connector 1.4.0-M3

我有这个DStream [Ids],RDD计数大约6000-7000个元素. id是分区键.

val ids: DStream[Ids] = ...
ids.joinWithCassandraTable(keyspace,tableName,joinColumns = SomeColumns("id"))

随着tableName变得更大,让我们说大约30k“行”,查询需要更长时间,并且我无法保持在批处理持续时间阈值之下.它的表现类似于使用大量的IN子句,我认为这是不可取的.

有没有更有效的方法来做到这一点？

回答：
始终记得在与Cassandra连接之前使用repartitionByCassandraReplica重新分区本地RDD,以确保每个分区仅针对本地Cassandra节点.在我的情况下,我还必须在加入本地RDD / DStream上增加分区,以便任务在工作者之间均匀分布.

解决方法

“id”是表中的分区键吗？如果没有,我认为它必须是,否则你可能正在进行表扫描,随着表变大,它会逐渐变慢.

此外,为了使用此方法获得良好性能,我认为您需要在ids RDD上使用repartitionByCassandraReplica()操作,以便连接是每个节点上的本地操作.

见this.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!