c – 随机文件写作
|
如果我有多个线程生成文件块,那么写出块的最佳方法是什么？
ex)5个线程处理500个块的文件,块0不一定在块1之前完成,但是磁盘上的输出文件需要按顺序排列. (块0,块1,块2,……块499) 该程序是在C,可以fwrite()以某种方式“随机访问”该文件？该文件是从头开始创建的,这意味着当块5完成时,由于块1~4尚未完成,文件可能仍然是0.我可以直接写出第5块吗？ (适当的fseek) 这段代码对性能至关重要,所以我对任何可以改善性能的东西都很好奇.这看起来像一个多生产者(块生成器)和一个消费者(输出编写器)场景.想法的例子是线程A在完成前一个块时可以继续生成下一个块. 如果fwrite可以是“随机”,那么输出编写器可以简单地获取输出,搜索,然后写入.但是不确定这种设计是否能够大规模地发挥作用. 一些限制 >每个块的大小相同,在内存中生成 解决方法
假设每个块的大小相同,并且在需要将块写入磁盘之前在内存中生成块,那么lseek和write的组合将完全正常.
如果你能够在一次写入中编写整个块,那么使用fwrite就不会有任何好处 – 所以只需直接使用write – 但是如果所有线程都共享,你需要某种锁定访问控制(mutex)同样的fd – 因为seek write不能以原子方式完成,并且你不希望一个线程在第二个线程即将编写之前寻找. 这进一步假设您的文件系统是标准文件系统,而不是一些异国情调,因为并非所有输入/输出设备都支持lseek(例如管道). 更新：lseek可以在文件末尾搜索,只需将whence参数= SEEK_SET和偏移量设置为文件中的绝对位置(fseek具有相同的选项,但我从未使用过). （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |