bigdata – Bigtable性能影响列族

关于我们的基准设置的更多细节.此时,生产表中的每一行包含大约5列,每列包含0.1到1 KB的数据.所有列都存储在一个列族中.执行行键范围过滤器(平均返回340行)并应用列regex fitler(每行只返回1列)时,查询平均需要23,3ms.我们创建了一些测试表,其中我们将每行的列/数据量增加了5倍.在测试表1中,我们将所有内容保存在一个列族中.正如预期的那样,这将同一查询的查询时间增加到40,6ms.在测试表2中,我们将原始数据保存在一个列族中,但是额外的数据被放入另一个列族中.查询包含原始数据的列族(因此包含与原始表相同数量的数据)时,查询时间平均为44,3ms.因此,当使用更多列族时,性能甚至会降低.

这与我们预期的完全相反.例如.这在bigtable docs中提到(https://cloud.google.com/bigtable/docs/schema-design#column_families)

Grouping data into column families allows you to retrieve data from a single family,or multiple families,rather than retrieving all of the data in each row. Group data as closely as you can to get just the information that you need,but no more,in your most frequent API calls.

有人解释我们的发现吗？

benchmark results

(编辑：添加更多细节)

单行内容：

表格1：

> cf1

> col1
> col2
> ……
> col25

表2：

> cf1

> col1
> col2
> ..
> col5

> cf2

> col6
> col7
> ..
> col25

我们正在执行的基准测试是使用go客户端.调用API的代码基本如下：

filter = bigtable.ChainFilters(bigtable.FamilyFilter(request.ColumnFamily),bigtable.ColumnFilter(colPattern),bigtable.LatestNFilter(1))
tbl := bf.Client.Open(table)
rr := bigtable.NewRange(request.RowKeyStart,request.RowKeyEnd)
err = tbl.ReadRows(c,rr,func(row bigtable.Row) bool {return true},bigtable.RowFilter(filter))