c# – Azure HDInsight的本地模拟
发布时间：2020-12-15 21:55:31 所属栏目：百科 来源：网络整理
导读：任务是在Azure云中实现ETL项目的T部分(转换).我相信HDInsight是适合它的服务,但不确定.请批准或反驳这一选择. 我对这个领域很陌生,如果有人能指出我正确的方向,我会很感激. 我希望能够开发转换服务(作业)并使用Azure存储/计算仿真器和Visual Studio 2012(理
|
任务是在Azure云中实现ETL项目的T部分(转换).我相信HDInsight是适合它的服务,但不确定.请批准或反驳这一选择.
我对这个领域很陌生,如果有人能指出我正确的方向,我会很感激. 我希望能够开发转换服务(作业)并使用Azure存储/计算仿真器和Visual Studio 2012(理想情况下在C#中)在本地进行测试.我很确定HDInsight如何适应这张图片(如果有的话).转换作业将从blob存储中读取文本文件,并生成(map reduce)数据到azure表存储中. 解决方法
你当然可以在本地运行HDInsight盒子.它与Azure存储和计算机模拟分开,并通过Web Platform安装程序安装(仅搜索HDInsight).
本地版本和Azure版本之间存在一些细微差别,因为本地版本使用存储在HDFS中的数据,而在云中,您可以使用Azure Blob容器.至于开发和测试转换过程(在MapReduce / Hive / Pig中),这没有什么区别.唯一的区别是您获取数据的方式. 请注意,您当然可以在HDInsight上使用C#创建MapReduce作业,对于基本数据转换,使用像Pig这样的更高级语言或者可能使用HDInsight上基于SQL的HiveQL要容易得多. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |