java – Spark Job Server：“服务器无法及时响应您的请求”

发布时间：2020-12-15 04:24:55 所属栏目：Java 来源：网络整理

导读：我正在使用Spark Job Server来运行Spark作业,它运行正常.但是当我尝试执行一项大工作(需要超过40秒)时,我收到此错误： The server was not able to produce a timely response to your request. 是否需要一些配置才能等待服务器应答？我该怎么办？谢谢解决

我正在使用Spark Job Server来运行Spark作业,它运行正常.但是当我尝试执行一项大工作(需要超过40秒)时,我收到此错误：

The server was not able to produce a timely response to your request.

是否需要一些配置才能等待服务器应答？我该怎么办？

谢谢

解决方法

使用同步作业提交可以达到几种不同的超时.你的是来自Spray-can服务器.您可以通过conf文件进行配置：

spray.can.server {
      idle-timeout = <set desired timeout>
      request-timeout = <set desired timeout>
}

您可以将两个值都设置为无限以完全禁用这些超时.

一般来说,我观察到至少有3种常见的不同超时,并且可以在作业完成之前返回您的请求：

>基于Akka的请求超时.如果在X秒之前未完成同步作业,则将返回具有“ERROR”状态的JSON响应. SJS中的默认值是10秒,但您可以通过将timeout = Y参数传递给POST /作业请求来覆盖它.> Spray-can服务器超时：idle-timeout,request-timeout.将返回默认的Spray响应,使其更难捕获.它们分别默认为60秒和40秒.>另一个超时可能来自您的客户端REST库…其中一些配置其默认值以禁用此层上的任何超时,其中一些可能会考虑服务器的超时并根据该配置自己的行为…对于例如,一旦你禁用超时#2,C REST SDK库就会在WinHTTP超时30秒内启动,#2就会等待40秒……

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!