加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > 安全 > 正文

scala – 在Neo4j中创建多线程节点

发布时间:2020-12-16 18:11:37 所属栏目:安全 来源:网络整理
导读:我在10000个批次中创建了100万个Neo4j节点,每个节点都在自己的事务中.奇怪的是,使用多线程执行并行化此过程对性能没有任何积极影响.就好像不同线程中的事务相互阻塞一样. 这是一段Scala代码,可以在并行集合的帮助下对其进行测试: import org.neo4j.kernel.E
我在10000个批次中创建了100万个Neo4j节点,每个节点都在自己的事务中.奇怪的是,使用多线程执行并行化此过程对性能没有任何积极影响.就好像不同线程中的事务相互阻塞一样.

这是一段Scala代码,可以在并行集合的帮助下对其进行测试:

import org.neo4j.kernel.EmbeddedGraphDatabase

object Main extends App {

    val total = 1000000
    val batchSize = 10000

    val db = new EmbeddedGraphDatabase("neo4yay")

    Runtime.getRuntime().addShutdownHook(
        new Thread(){override def run() = db.shutdown()}
    )

    (1 to total).grouped(batchSize).toSeq.par.foreach(batch => {

        println("thread %s,nodes from %d to %d"
            .format(Thread.currentThread().getId,batch.head,batch.last))

        val transaction = db.beginTx()
        try{
            batch.foreach(db.createNode().setProperty("Number",_))
        }finally{
            transaction.finish()
        }
    })
}

以下是构建和运行它所需的build.sbt行:

scalaVersion := "2.9.2"

libraryDependencies += "org.neo4j" % "neo4j-kernel" % "1.8.M07"

fork in run := true

通过在外部foreach之前删除和添加.par调用,可以在并行和顺序模式之间切换.然后控制台输出清楚地显示.par执行确实是多线程的.

为了排除此代码中可能出现的并发问题,我还尝试了基于actor的实现,结果大致相同(分别为顺序和并行版本分别为6秒和7秒).

所以,问题是:我做错了什么或者这是Neo4j的限制吗?
谢谢!

解决方法

主要问题是你的tx大约在同一时间到达.事务提交是对事务日志的序列化写入.如果写入将按时间交错并且实际节点创建是一个更昂贵的过程,那么您将获得加速.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读