大数据-数据处理流程

发布时间：2020-12-14 03:13:18 所属栏目：大数据来源：网络整理

导读：数据处理流程 1)? 数据采集：定制开发采集程序，或使用开源框架 FLUME 2)? 数据预处理：定制开发 mapreduce 程序运行于 hadoop 集群 3)? 数据仓库技术：基于 hadoop 之上的 Hive 4)? 数据导出：基于 hadoop 的 sqoop 数据导入导出工具 5)? 数据可视化：定制

数据处理流程

1)?数据采集：定制开发采集程序，或使用开源框架FLUME

2)?数据预处理：定制开发mapreduce程序运行于hadoop集群

3)?数据仓库技术：基于hadoop之上的Hive

4)?数据导出：基于hadoop的sqoop数据导入导出工具

5)?数据可视化：定制开发web程序或使用kettle等产品

6)?整个过程的流程调度：hadoop生态圈中的oozie工具或其他类似开源产品

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!