java – 从HDFS读取一个简单的Avro文件

发布时间：2020-12-15 02:47:50 所属栏目：Java 来源：网络整理

导读：我试图简单读取存储在HDFS中的Avro文件.我发现当它在本地文件系统上时如何阅读…. FileReader reader = DataFileReader.openReader(new File(filename),new GenericDatumReader());for (GenericRecord datum : fileReader) { String value = datum.get(1).to

我试图简单读取存储在HDFS中的Avro文件.我发现当它在本地文件系统上时如何阅读….

FileReader reader = DataFileReader.openReader(new File(filename),new GenericDatumReader());

for (GenericRecord datum : fileReader) {
   String value = datum.get(1).toString();
   System.out.println("value = " value);
}

reader.close();

但是,我的文件是HDFS.我不能给openReader一个Path或一个FSDataInputStream.如何在HDFS中读取Avro文件？

编辑：我通过创建实现SeekableInput的自定义类(SeekableHadoopInput)来实现此目的.我从github上的“Ganglion”“偷”了这个.似乎仍然会有一个Hadoop / Avro集成路径.

谢谢

解决方法

FsInput类(在avro-mapred子模块中,因为它依赖于Hadoop)可以做到这一点.它提供Avro数据文件所需的可搜索输入流.

Path path = new Path("/path/on/hdfs");
Configuration config = new Configuration(); // make this your Hadoop env config
SeekableInput input = new FsInput(path,config);
DatumReader<GenericRecord> reader = new GenericDatumReader<GenericRecord>();
FileReader<GenericRecord> fileReader = DataFileReader.openReader(input,reader);

for (GenericRecord datum : fileReader) {
    System.out.println("value = " + datum);
}

fileReader.close(); // also closes underlying FsInput

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!