scala – 如何修复Spark on Mesos上的Google Protobuf中的“协议

发布时间：2020-12-16 18:47:24 所属栏目：安全来源：网络整理

导读：我通过 Scala代码运行Spark 1.5.1并调用ALS训练方法(mllib).我的代码使用MESOS执行程序.由于数据很大,我收到以下错误： 15/11/03 12:53:45 INFO TaskSetManager: Starting task 7.0 in stage 0.0 (TID 7,PROCESS_LOCAL,128730328 bytes) [libprotobuf ERROR

我通过 Scala代码运行Spark 1.5.1并调用ALS训练方法(mllib).我的代码使用MESOS执行程序.由于数据很大,我收到以下错误：

15/11/03 12:53:45 INFO TaskSetManager: Starting task 7.0 in stage 0.0
(TID 7,PROCESS_LOCAL,128730328 bytes) [libprotobuf ERROR
google/protobuf/io/coded_stream.cc:171] A protocol message was
rejected because it was too big (more than 67108864 bytes). To
increase the limit (or to disable these warnings),see
CodedInputStream::SetTotalBytesLimit() in
google/protobuf/io/coded_stream.h.

有关如何增加限制的任何想法？

解决方法

听起来你正在达到“spark.kryoserializer.buffer.max”的极限.
检查protobuf是否正在使用kryo序列化程序.
如果是,你需要推动限制“spark.kryoserializer.buffer.max”,可以设置为2047m.

http://spark.apache.org/docs/1.5.1/configuration.html

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!