实现HDFS数据上传和下载代码
发布时间:2020-12-15 03:20:39 所属栏目:Java 来源:网络整理
导读:今天PHP站长网 52php.cn把收集自互联网的代码分享给大家,仅供参考。 import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.Outp
以下代码由PHP站长网 52php.cn收集自互联网 现在PHP站长网小编把它分享给大家,仅供参考 import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.junit.Before; import org.junit.Test; /* 1、通过代码来操作HDFS 2、实现了下载、上传文件的功能 */ public class HDFSDemo { /* 1、通过代码来操作HDFS 2、实现了下载功能 */ public static void main(String[] args) throws IOException,URISyntaxException { //与master建立联系 FileSystem fs =FileSystem.get(new URI("hdfs://master:9000"),new Configuration()); //通过流方式读取HDFS中的文件,将文件读入到内存当中 InputStream in = fs.open(new Path("/user/guest/esri/xiaojson/xiao.json")); //输出路径 OutputStream out = new FileOutputStream("D://xiao.json"); //工具类将in中的内容copy到out中,大师级默认都是4096 IOUtils.copyBytes(in,out,4096,true); } /* 1、通过代码来操作HDFS 2、实现了下载功能,通过一句话实现下载 */ @Test public void testDownLoad() throws IllegalArgumentException,IOException{ fs.copyToLocalFile(new Path("/user/guest/esri/xiaojson/xiao.json"),new Path("D://xiao1.json")); } FileSystem fs = null; @Before public void init() throws IOException,URISyntaxException,InterruptedException{ //创建FileSystem的实现类 (工具类)与master建立联系 fs =FileSystem.get(new URI("hdfs://master:9000"),new Configuration(),"guest"); } /* 1、通过代码来操作HDFS 2、实现了上传功能 */ @Test public void testUpload() throws IOException{ //读取本地文件系统的文件,返回输入流 InputStream in = new FileInputStream("D://xiao123.json"); //在HDFS上创建一个文件,返回输出流 OutputStream out = fs.create(new Path("/test.jar")); //工具类将in中的内容copy到out中,大师级默认都是4096 IOUtils.copyBytes(in,true); } } 以上内容由PHP站长网【52php.cn】收集整理供大家参考研究 如果以上内容对您有帮助,欢迎收藏、点赞、推荐、分享。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |