linux – 需要一个高效的数据容器.尽快从存储转移到内存

发布时间：2020-12-13 17:12:27 所属栏目：Linux 来源：网络整理

导读：问题：我需要尽快将大块数据从远程位置复制到系统内存中. 场景：我有一个数据处理系统.该系统是通过shell脚本使用从远程位置引入的多个组件即时构建的. 其中一个组件是作为文件组存储的大块数据. 我的要求是从远程位置检索大块数据并尽快将其安装到系统内存

问题：我需要尽快将大块数据从远程位置复制到系统内存中.

场景：我有一个数据处理系统.该系统是通过shell脚本使用从远程位置引入的多个组件即时构建的.

其中一个组件是作为文件组存储的大块数据.

我的要求是从远程位置检索大块数据并尽快将其安装到系统内存中.这是一项要求,以便依赖此数据的系统可以在启动后尽快开始使用它进行处理.

问题：“我的数据最有效的容器是什么？”

已尝试/考虑的解决方案：

> ISO文件：需要用于创建和阅读的工具,这些工具通常不是原生的
> TAR文件：提取可能需要很长时间
>远程文件系统挂载为local：slow因为内容需要复制到内存中
> LVM快照：更多地用于备份,而不是为了恢复速度而构建

笔记：

>数据丢失不是主要问题.
>远程文件传输过程不是主要问题,因为我已经有了足够的工具.
>该系统目前正在使用Ubuntu Linux.

“远程文件传输程序不是主要问题,因为我已经有了足够的工具.”

如果您已经传输了文件,我建议使用mmap(2).

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!