使用 Swift语言进行 Hadoop 数据流应用程序开发
本文详细源代码请参考 Github Perfect Examples 该项目展示了如何使用 Swift 语言开发 Hadoop 流处理应用程序。 该软件使用SPM进行编译和测试,本软件也是Perfect项目的一部分。本软件包可独立使用,因此使用时可以脱离PerfectLib等其他组件。 请确保您已经安装并激活了最新版本的 Swift 3.0 tool chain 工具链。 问题报告、内容贡献和客户支持我们目前正在过渡到使用JIRA来处理所有源代码资源合并申请、修复漏洞以及其它有关问题。因此,GitHub 的“issues”问题报告功能已经被禁用了。 如果您发现了问题,或者希望为改进本文提供意见和建议,请在这里指出. 在您开始之前,请参阅目前待解决的问题清单. 简介本项目包括两类 Hadoop 流处理应用程序:映射器 mapper 和 总结器 reducer。这两类程序都是标准的控制台终端程序,即从标准输入读数据 映射器的范例程序 mapper 是将来自标准输入的文本拆分为一个一个的英语单词,然后采用下列格式进行打印(假设输入内容是 hello 1 world 1 hello 1 而总结器 reducer 的目标是将这些输入进行统计,最后形成单词统计表: hello 2 world 1 两个程序的结合使用即可提供单词统计的功能。 Hadoop 的 Map Reduce 正是为上述任务在大数据环境下而设计的,这里的大数据指的是单个文件输入达到 GB 甚至 TB。 映射器 mapperimport CoreFoundation // 处理每一行文本 public func lineMain() -> Bool { // 从输入中读取一行;如果为nil则表示输入已经关闭了 guard let line = readLine() else { return false } // 简单处理一下文字,取小写并过滤符号 let filter = line.lowercased().characters.filter{ $0 >= "a" && $0 <= "z" || $0 == " " } // 然后再把单词输出,并增加一个“1” filter.split(separator: " ").forEach { raw in let word = String(raw) print("(word)t1") } return true } // 从输入流中读取所有文本行 while(lineMain()){} 总结器 reducerimport CoreFoundation // 单词表 var dic: [String: Int] = [:] // 行处理器 public func lineMain() -> Bool { // 从标准输入读取一行数据 guard let line = readLine() else { return false } // 拆分成单词及其统计数量 let e = line.characters.split(separator: "t") if e.count < 2 { return true }//end if // 保存到单词表 let key = String(e[0]) let value = Int(String(e[1])) ?? 0 let count = dic[key] ?? 0 dic[key] = count + value return true } // 处理所有行 while(lineMain()){} // 打印结果 dic.keys.sorted().forEach { key in let value = dic[key] ?? 0 print("(key)t(value)") } 编译由于采用标准流程序开发,因此编译这些应用不需要任何其他依存关系。您只需打开一个终端窗口并运行 $ cd mapper $ swift build $ cd ../reducer $ swift build 测试在部署到Hadoop 集群之前,您可以尝试在普通的命令行环境下进行测试(testdata.txt 文件是一个常规的文本文件,采用ASCII或UTF-8编码即可)。本工程目录下包括了可以用于测试的数据文件和脚本。 $ cat testdata.txt | ./mapper/.build/release/mapper | sort | ./reducer/.build/release/reducer 在 Hadoop 上运行程序和上面的管道操作类似,试验成功后您可以尝试在一个真正的 Hadoop 集群上跑一下新编写的程序了: $ mapred streaming -input /user/rockywei/input -output /user/rockywei/output -mapper /usr/local/bin/mapper -reducer /usr/local/bin/reducer 如果任务成功,您可以用下列命令在集群上查看输出: $ hadoop fs -cat /user/rockywei/output/part-00000 详细说明上述映射-总结程序的细节解释参考如下:
下一步:Perfect HadoopHadoop 是一个大数据生态系统 —— 包括 HDFS 高性能多冗余文件系统,Map-Reduce 文件处理程序和 YARN 集群资源管理系统 —— 构成了最基本的大数据系统。 如上所示,在 Hadoop 上编写流处理程序是一个很简单的工作,也不需要依赖于特定的软件体系。但是,除了编写流处理程序之外,您还可以使用 Perfect Hadoop 做更多更强大的事情——任务控制、大文件上下载、集群节点监控——现在所有这些工作都可以使用Swift 语言实现了! 更多信息关于本项目更多内容,请参考perfect.org. 长按二维码关注Perfect 官网
如果需要帮助,请注册我们在Slack上的中文频道: http://perfect.ly/ (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |