python – joblib和pickle的不同用例是什么？

发布时间：2020-12-16 23:32:34 所属栏目：Python 来源：网络整理

导读：背景：我刚刚开始学习scikit,并在页面底部阅读约 joblib,versus pickle. it may be more interesting to use joblib’s replacement of pickle (joblib.dump joblib.load),which is more efficient on big data,but can only pickle to the disk and not to

背景：我刚刚开始学习scikit,并在页面底部阅读约 joblib,versus pickle.

it may be more interesting to use joblib’s replacement of pickle (joblib.dump & joblib.load),which is more efficient on big data,but can only pickle to the disk and not to a string

我读了这个Q& A的Pickle,
Common use-cases for pickle in Python,想知道这里的社区是否可以分享joblib和pickle之间的差异？何时应该使用另一个？

解决方法

joblib通常在大数字数组上显着更快,因为它对numpy数据结构的数组缓冲区有特殊的处理.要了解实现细节,您可以查看 source code.它也可以在使用zlib酸洗的同时压缩该数据.

joblib还可以在加载时将存储器映射到未压缩的joblib-pickled numpy数组的数据缓冲区,这样可以在进程之间共享内存.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!