加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

groovy – 泰坦的“超级节目”

发布时间:2020-12-14 16:25:37 所属栏目:大数据 来源:网络整理
导读:我正在开发一个可以很好地处理图形数据库( Titan)的应用程序,除了它有很多边缘的顶点有问题,即 supernodes. 上面的超节点链接指向Titan作者的博客文章,解释了解决问题的方法.解决方案似乎是通过边缘过滤来减少顶点的数量. 不幸的是我想要groupCount属性的边
我正在开发一个可以很好地处理图形数据库( Titan)的应用程序,除了它有很多边缘的顶点有问题,即 supernodes.

上面的超节点链接指向Titan作者的博客文章,解释了解决问题的方法.解决方案似乎是通过边缘过滤来减少顶点的数量.

不幸的是我想要groupCount属性的边或顶点.例如,我有100万用户,每个用户属于一个国家.如何进行快速groupCount计算每个国家/地区的用户数量?

到目前为止我所尝试的内容可以在这个精心设计的groovy脚本中显示:

g = TitanFactory.open('titan.properties')  // Cassandra
r = new Random(100)
people = 1e6

def newKey(g,name,type) {
    return g
        .makeType()
        .name(name)
        .simple()
        .functional()
        .indexed()
        .dataType(type)
        .makePropertyKey()
}

def newLabel(g,key) {
    return g
        .makeType()
        .name(name)
        .primaryKey(key)
        .makeEdgeLabel()
}

country = newKey(g,'country',String.class)
newLabel(g,'lives',country)

g.stopTransaction(SUCCESS)

root = g.addVertex()
countries = ['AU','US','CN','NZ','UK','PL','RU','NL','FR','SP','IT']

(1..people).each {
    country = countries[(r.nextFloat() * countries.size()).toInteger()]
    g.startTransaction()
    person = g.addVertex([name: 'John the #' + it])
    g.addEdge(g.getVertex(root.id),person,[country: country])
    g.stopTransaction(SUCCESS)
}

t0 = new Date().time

m = [:]    
root = g.getVertex(root.id)
root.outE('lives').country.groupCount(m).iterate()

t1 = new Date().time

println "groupCount seconds: " + ((t1 - t0) / 1000)

基本上一个根节点(为了Titan没有“全部”节点查找),通过具有country属性的边链接到许多人.当我在100万个顶点上运行groupCount()时,它需要一分钟.

我意识到Titan可能会迭代每个边缘并收集计数,但是有没有办法让这个在Titan或任何其他图形数据库中运行得更快?索引本身可以计算,所以它不必遍历?我的索引是否正确?

解决方法

如果您为“生活”标签创建“国家/地区” primary key,那么您可以更快地检索特定国家/地区的所有人.但是,在您的情况下,您感兴趣的是一个组计数,该组计数需要检索该根节点的所有边缘,以便迭代它们并对这些国家进行抢占.

因此,这种分析查询更适合图形分析框架Faunus.它不需要根顶点,因为它通过完整的数据库扫描执行groupcount,从而避免了超级节点问题. Faunus还使用Gremlin作为查询语言,因此您只需稍微修改您的查询:

g.V.country.groupCount.cap...

HTH,马蒂亚斯

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读