加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > PHP教程 > 正文

从PHP访问Hadoop

发布时间:2020-12-13 22:43:56 所属栏目:PHP教程 来源:网络整理
导读:我需要在Hadoop系统上从 PHP访问HDFS,该系统使用版本0.20.2 923.256中的cloudera软件包. 有一个运行的namenode的thrift服务器 一个用于工作跟踪器.我有以下访问hdfs的功能,但是 我得到一个未知的方法“listStatus”错误. HUE接口也使用thrift服务器来访问HDF
我需要在Hadoop系统上从 PHP访问HDFS,该系统使用版本0.20.2 923.256中的cloudera软件包.

有一个运行的namenode的thrift服务器
一个用于工作跟踪器.我有以下访问hdfs的功能,但是
我得到一个未知的方法“listStatus”错误. HUE接口也使用thrift服务器来访问HDFS和作业跟踪器.

你能帮助我从PHP访问那个HDFS吗?那个thrift使用另一个API吗?
我没有找到该API的任何规范.

$socket = new TSocket(IP,PORT);
$socket->setSendTimeout(10000);
$socket->setRecvTimeout(20000);
$transport = new TBufferedTransport($socket);
$protocol = new TBinaryProtocol($transport);

$client = new ThriftHadoopFileSystemClient($protocol);
$transport->open();
$pathname = new Pathname(array('pathname' => $file));
$result = $client->listStatus($pathname);
echo($result[0]->path);        
$transport->close();
return $result;

非常感谢!

解决方法

你能用这个api,它很有帮助
https://github.com/simpleenergy/php-WebHDFS

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读