大数据从业者应该知道的开源工具
前言 想要成为大数据工程师这些开源工具你要有所了解 一、Hadoop相关工具 1. Hadoop Apache的Hadoop项目已几乎与大数据划上了等号。它不断壮大起来,已成为一个完整的生态系统,众多开源工具面向高度扩展的分布式计算。 支持的操作系统:Windows、Linux和OS X。 相关链接:http://hadoop.apache.org 2. Ambari 作为Hadoop生态系统的一部分,这个Apache项目提供了基于Web的直观界面,可用于配置、管理和监控Hadoop集群。有些开发人员想把Ambari的功能整合到自己的应用程序当中,Ambari也为他们提供了充分利用REST(代表性状态传输协议)的API。 相关链接:http://ambari.apache.org 3. Avro 这个Apache项目提供了数据序列化系统,拥有丰富的数据结构和紧凑格式。模式用JSON来定义,它很容易与动态语言整合起来。 支持的操作系统:与操作系统无关。 相关链接:http://avro.apache.org 4. Cascading Cascading是一款基于Hadoop的应用程序开发平台。提供商业支持和培训服务。 相关链接:http://www.cascading.org/projects/cascading/ 5. Chukwa Chukwa基于Hadoop,可以收集来自大型分布式系统的数据,用于监控。它还含有用于分析和显示数据的工具。 支持的操作系统:Linux和OS X。 相关链接:http://chukwa.apache.org 6. Flume Flume可以从其他应用程序收集日志数据,然后将这些数据送入到Hadoop。官方网站声称:“它功能强大、具有容错性,还拥有可以调整优化的可靠性机制和许多故障切换及恢复机制。” 相关链接:https://cwiki.apache.org/confluence/display/FLUME/Home 7. HBase HBase是为有数十亿行和数百万列的超大表设计的,这是一种分布式数据库,可以对大数据进行随机性的实时读取/写入访问。它有点类似谷歌的Bigtable,不过基于Hadoop和Hadoop分布式文件系统(HDFS)而建。 相关链接:http://hbase.apache.org 8. Hadoop分布式文件系统(HDFS) HDFS是面向Hadoop的文件系统,不过它也可以用作一种独立的分布式文件系统。它基于Java,具有容错性、高度扩展性和高度配置性。 相关链接:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html 9. Hive Apache Hive是面向Hadoop生态系统的数据仓库。它让用户可以使用HiveQL查询和管理大数据,这是一种类似SQL的语言。 相关链接:http://hive.apache.org 10. Hivemall Hivemall结合了面向Hive的多种机器学习算法。它包括诸多高度扩展性算法,可用于数据分类、递归、推荐、k最近邻、异常检测和特征哈希。 相关链接:https://github.com/myui/hivemall 11. Mahout 12. MapReduce 13. Oozie 14. Pig 15. Sqoop 16. Spark 17. Tez 18. Zookeeper 二、大数据分析平台和工具 19. Disco 20. HPCC 21. Lumify 22. Pandas 23. Storm 三、数据库/数据仓库 24. Blazegraph 25. Cassandra 26. CouchDB 27. FlockDB 28. Hibari 29. Hypertable 30. Impala 31. InfoBright社区版 32. MongoDB 33. Neo4j 34. OrientDB 35. Pivotal Greenplum Database 36. Riak 37. Redis 四、商业智能 38. Talend Open Studio 39. Jaspersoft 40. Pentaho 41. SpagoBI 42. KNIME 43. BIRT 五、数据挖掘 44.DataMelt 45. KEEL 46. Orange 47. RapidMiner 48. Rattle 49. SPMF 50. Weka 六、查询引擎 51. Drill 七、编程语言 52. R 53. ECL 八、大数据搜索 54. Lucene 九、内存中技术 链接
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |