hadoop集群组件版本
{#ude44730b}{#ub7621f5d}{#ubad72453}{#u679ea831}{#u7acb7878}{#ud8c34f3f}{#u1b931e6f}{#u5cf3dee1}{#uc6a66314}{#u52f4d07a}{#u376a28e6}{#u032ad131}{#uad858a0b}{#ud625aebd}{#u568f0d67}{#u6f10f21d}{#ub8f1d7c7}{#ue13135b4}

|---------------|----------|------------------------------------------------------------------------------------------------------------------------------------------------------| | 产品 | 版本 | 特点 | | Hadoop | 2.7.2 |
| | Flume | 1.7.0 | 1. 支持断点续传{#ud4c8f287} 2. 官方HDFS 接口{#uc2a9d5e9} 3. 自带事务,不容易丢数据 | | Kafka | 0.11.0.2 | 1. 支持多个消费者接口{#u87f99b8a} 2. 0.10后,sparkstreaming只支持DirectAPI | | Kafka Eagle | 1.3.7 |
| | Hive | 1.2.1 | 支持大规模的数据计算 | | Sqoop | 1.4.6 | 采用命令行的方式调用任务 | | MySQl | 5.6.24 |
| | Azkaban | 2.5.0 | 1. 兼容任何版本的hadoop{#u98ce9616} 2. 调度工作流{#u2ebf5db3} 3. 认证/授权(权限){#ue1b1e1cc} 4. 成功和失败会发电子邮件、打电话提醒{#u3c08b66b} 5. 易于使用的Wev界面{#u50bf87ab} 6. 方便设置任务之间的关系 | | Java | 1.8 |
| | Zookeeper | 3.4.10 |
| | Hbase | 1.3.1 | 分布式,可扩展,海量数据存储的NoSQL数据库 | | Phoenix | 4.14.1 | 1. Hbase的开源SQL皮肤,方便操作{#u456d1eab} 2. 支持Hbase的二级索引 | | Canal | 1.1.2 | 支持任意格式的数据格式 | | Elasticsearch | 6.3.1 | 对海量数据进行近实时的处理 | | Kibana | 6.3.1 | 为Es设计的开源分析和可视化平台 | | Spark | 2.1.1 | 1. 基于内存运算,比Hadoop快100倍{#u9b3af70a} 2. 支持Java,Python和Scala的API{#u6c9d8ceb} 3. 提供了统一的解决方案{#u57785898} 4. 极易方便和Hadoop环境进行融合 | | Redis | 3.2.5 | 自带去重功能 |