加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > Windows > 正文

“反序列化错误” – 带SOCK的foreach / doSNOW / snow(windows)

发布时间:2020-12-14 04:07:33 所属栏目:Windows 来源:网络整理
导读:我正在使用SOCK集群和本地计算机上的工作程序运行并行操作.如果我限制我正在迭代的集合(在一次测试中使用70而不是完整的135个任务)那么一切正常.如果我去全套,我得到错误“反序列化错误(socklist [[n]]):从连接读取错误”. 我已取消阻止Windows防火墙中的端
我正在使用SOCK集群和本地计算机上的工作程序运行并行操作.如果我限制我正在迭代的集合(在一次测试中使用70而不是完整的135个任务)那么一切正常.如果我去全套,我得到错误“反序列化错误(socklist [[n]]):从连接读取错误”.

>我已取消阻止Windows防火墙中的端口(进/出)并允许Rscript / R的所有访问.
>它不能是超时问题,因为套接字超时设置为365天.
>它不是任何特定任务的问题,因为我可以顺序运行(如果我将数据集分成两半并进行两次单独的并行运行,也可以并行运行)
>我能想到的最好的是通过套接字传输的数据太多了.似乎没有集群选项来限制数据限制.

我对如何进行感到茫然.有没有人见过这个问题或者可以建议修复?

这是我用来设置集群的代码:

cluster = makeCluster( degreeOfParallelism,type = "SOCK",outfile = "" )
registerDoSNOW( cluster )

编辑
虽然这个问题与整个数据集有关,但它也会随着数据集的减少而不时出现.这可能表明这不仅仅是数据限制问题.

编辑2
我挖得更深一些,事实证明我的函数实际上有一个随机组件,这使得有时任务会引发错误.如果我按顺序运行任务,那么在操作结束时我会被告知哪个任务失败了.如果我并行运行,那么我会收到“unserialize”错误.我尝试在tryCatch调用中使用error = function(e){stop(e)}包装由每个任务执行的代码,但这也会生成“unserialize”错误.我很困惑因为我认为雪会把它们传回主人来处理错误?

我已经向SNOW的作者报告了这个问题,但不幸的是没有回复.

编辑我有一段时间没见过这个问题.我搬到了Parallel / doParallel.此外,我现在使用try()来包装任何并行执行的代码.我不能重复原来的问题.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读