java IO流将一个文件拆分为多个子文件代码示例
发布时间：2020-12-14 20:15:35 所属栏目：Java 来源：网络整理
导读：文件分割与合并是一个常见需求，比如：上传大文件时，可以先分割成小块，传到服务器后，再进行合并。很多高大上的分布式文件系统（比如：google的GFS、taobao的TFS）里，也是按block为单位，对文件进行分割或合并。 看下基本思路： 如果有一个大文件，指定分
|
文件分割与合并是一个常见需求，比如：上传大文件时，可以先分割成小块，传到服务器后，再进行合并。很多高大上的分布式文件系统（比如：google的GFS、taobao的TFS）里，也是按block为单位，对文件进行分割或合并。 看下基本思路：
如果有一个大文件，指定分割大小后（比如：按1M切割） step 1： 先根据原始文件大小、分割大小，算出最终分割的小文件数N step 2: 在磁盘上创建这N个小文件 step 3: 开多个线程（线程数=分割文件数），每个线程里，利用RandomAccessFile的seek功能，将读取指针定位到原文件里每一段的段首位置，然后向后读取指定大小（即：分割块大小），最终写入对应的分割文件，因为多线程并行处理，各写各的小文件，速度相对还是比较快的。 下面代码是将一个文件拆分为多个子文件，每个大小是100K
package testIO;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.util.Arrays;
public class subStream {
public static void main(String[] args) {
//先将源文件读取到内存中
int eachSize=100*1024;
File srcFile =new File("F:/test/test.txt");
//创建一个文件对象
splitFile(srcFile,eachSize);
}
public static void splitFile(File srcFile,int eachSize){
//判断文件是否符合拆分要求
if(srcFile.length()==0){
throw new RuntimeException("文件不符合拆分要求");
}
byte[] fileContent= new byte[(int) srcFile.length()];
try {
//将文件内容读取到内存中
FileInputStream fis=new FileInputStream(srcFile);
fis.read(fileContent);
fis.close();
}
catch (Exception e) {
e.printStackTrace();
}
//计算要次要拆分为多少份
int fileNumber;
if(fileContent.length%eachSize==0){
fileNumber = fileContent.length/eachSize;
} else{
fileNumber = fileContent.length/eachSize+1;
}
for (int i=0;i<fileNumber;i++){
String fileName = srcFile.getName()+"-"+i+".txt";
File fi = new File(srcFile.getParent(),fileName);
//在当前文件路径下创建拆分的文件
byte[] eachContent;
//将源文件内容复制到拆分的文件中
if(i!=fileNumber-1){
eachContent = Arrays.copyOfRange(fileContent,eachSize*i,eachSize*(i+1));
} else{
eachContent = Arrays.copyOfRange(fileContent,fileContent.length);
}
try {
FileOutputStream fos = new FileOutputStream(fi);
fos.write(eachContent);
fos.close();
System.out.printf("输出子文件 %s,其大小是 %d,每个的大小是%dn",fi.getAbsoluteFile(),fi.length(),eachContent.length);
}
catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}
}
}
}
总结 以上就是本文关于java IO流将一个文件拆分为多个子文件代码示例的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！ （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
