TIP

本文主要是介绍 CDH-基础知识 。

• 1.CDH概述
  • CDH提供
  • Hadoop生态构成
  • CDH结构图
• 【----------------------------】
• CDH 基础知识
  • 1、Apache Hadoop 不足之处
  • 2、Hadoop 发行版
  • 3、CDH能解决哪些问题
  • 4、CDH简介
  • 5、CDH的优点
  • 6、CDH安装方式
  • 7、CDH下载地址
• 参考文章

# 1.CDH概述

CDH（Cloudra's Distribution Apache Of Hadoop）是Apache Hadoop和相关项目的最完整，经过测试和最流行的发行版。CDH提供Hadoop的核心要素–可扩展的存储和分布式计算–以及基于Web的用户界面和重要的企业功能。CDH是Apache许可的开源软件，并且是唯一提供统一批处理，交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 一句话概括CDH就是集成多种技术的一个框架。

# CDH提供

• 灵活性-存储任何类型的数据并使用各种不同的计算框架进行处理，包括批处理，交互式SQL，自由文本搜索，机器学习和统计计算。
• 集成-在可与广泛的硬件和软件解决方案一起使用的完整Hadoop平台上快速启动并运行。
• 安全性-处理和控制敏感数据。
• 可扩展性-启用广泛的应用程序并进行扩展，并扩展它们以满足您的要求。
• 高可用性-自信地执行关键任务业务任务。
• 兼容性-利用您现有的IT基础架构和投资。

# Hadoop生态构成

• HDFS:分布式文件系统
  • ZKFC：为实现NameNode高可用，在NameNode和Zookeeper之间传递信息，选举主节点工具。
  • NameNode：存储文件元数据
  • DateNode：存储具体数据
  • JournalNode：同步主NameNode节点数据到从节点NameNode
• MapReduce:开源的分布式批处理计算框架
• Spark：分布式基于内存的批处理框架
• Zookeeper:分布式协调管理
• Yarn:调度资源管理器
• HBase：基于HDFS的NoSql列式数据库
• Hive：将SQL转换为MapReduce进行计算
• Hue：是CDH的一个UI框架
• Impala：是Cloudra公司开发的一个查询系统，类似于Hive，可以通过SQL执行任务，但是它不基于MapReduce算法，而是直接执行分布式计算，这样就提高了效率。
• oozie:是一个工作流调度引擎，负责将多个任务组合在一起按序执行。
• kudu：Apache Kudu是转为hadoop平台开发的列式存储管理器。和impala结合使用，可以进行增删改查。
• Sqoop：将hadoop和关系型数据库互相转移的工具。
• Flume：采集日志
• 还有一些其它的

# CDH结构图

# 【----------------------------】

# CDH 基础知识

# 1、Apache Hadoop 不足之处

• 版本管理混乱
• 部署过程繁琐、升级过程复杂
• 兼容性差
• 安全性低

# 2、Hadoop 发行版

• Apache Hadoop
• Cloudera’s Distribution Including Apache Hadoop（CDH）
• Hortonworks Data Platform (HDP)
• MapR
• EMR
• …

# 3、CDH能解决哪些问题

• 1000台服务器的集群，最少要花费多长时间来搭建好Hadoop集群，包括Hive、Hbase、Flume、Kafka、Spark等等
• 只给你一天时间，完成以上工作？
• 对于以上集群进行hadoop版本升级，你会选择什么升级方案，最少要花费多长时间？
• 新版本的Hadoop，与Hive、Hbase、Flume、Kafka、Spark等等兼容？

# 4、CDH简介

• Cloudera's Distribution, including Apache Hadoop
• 是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建
• 提供了Hadoop的核心 　　　　– 可扩展存储 　　　　– 分布式计算
• 基于Web的用户界面

# 5、CDH的优点

• 版本划分清晰
• 版本更新速度快
• 支持Kerberos安全认证
• 文档清晰
• 支持多种安装方式（Cloudera Manager方式）

# 6、CDH安装方式

• Cloudera Manager
• Yum
• Rpm
• Tarball

# 7、CDH下载地址

• CDH5.4 　　　　 http://archive.cloudera.com/cdh5/
• Cloudera Manager5.4.3： 　　　　 http://www.cloudera.com/downloads/manager/5-4-3.html

# 参考文章

• https://www.cnblogs.com/raphael5200/p/5293960.html
• https://www.cnblogs.com/shun7man/p/12326282.html