scala – 在Neo4j中创建多线程节点
发布时间:2020-12-16 18:11:37 所属栏目:安全 来源:网络整理
导读:我在10000个批次中创建了100万个Neo4j节点,每个节点都在自己的事务中.奇怪的是,使用多线程执行并行化此过程对性能没有任何积极影响.就好像不同线程中的事务相互阻塞一样. 这是一段Scala代码,可以在并行集合的帮助下对其进行测试: import org.neo4j.kernel.E
我在10000个批次中创建了100万个Neo4j节点,每个节点都在自己的事务中.奇怪的是,使用多线程执行并行化此过程对性能没有任何积极影响.就好像不同线程中的事务相互阻塞一样.
这是一段Scala代码,可以在并行集合的帮助下对其进行测试: import org.neo4j.kernel.EmbeddedGraphDatabase object Main extends App { val total = 1000000 val batchSize = 10000 val db = new EmbeddedGraphDatabase("neo4yay") Runtime.getRuntime().addShutdownHook( new Thread(){override def run() = db.shutdown()} ) (1 to total).grouped(batchSize).toSeq.par.foreach(batch => { println("thread %s,nodes from %d to %d" .format(Thread.currentThread().getId,batch.head,batch.last)) val transaction = db.beginTx() try{ batch.foreach(db.createNode().setProperty("Number",_)) }finally{ transaction.finish() } }) } 以下是构建和运行它所需的build.sbt行: scalaVersion := "2.9.2" libraryDependencies += "org.neo4j" % "neo4j-kernel" % "1.8.M07" fork in run := true 通过在外部foreach之前删除和添加.par调用,可以在并行和顺序模式之间切换.然后控制台输出清楚地显示.par执行确实是多线程的. 为了排除此代码中可能出现的并发问题,我还尝试了基于actor的实现,结果大致相同(分别为顺序和并行版本分别为6秒和7秒). 所以,问题是:我做错了什么或者这是Neo4j的限制吗? 解决方法
主要问题是你的tx大约在同一时间到达.事务提交是对事务日志的序列化写入.如果写入将按时间交错并且实际节点创建是一个更昂贵的过程,那么您将获得加速.
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |