请选择 进入手机版 | 继续访问电脑版

基于时速云部署cloudera版本的CDH实践

所在版块: 实践教程 2020-06-05 00:47 [复制链接] 查看: 308|回复: 1
本帖最后由 zhengnan 于 2020-6-5 00:45 编辑

基于时速云PaaS平台部署cloudera版本的CDH实践
一、CDH简介

    CDH (Cloudera's Distribution Including Apache Hadoop) 是 Cloudera 的 Hadoop 发行版。CDH 提供了 Hadoop 生态圈很多重要开源产品及组件如 Hadoop, Spark, HBase, Hive, Pig, Hue, Oozie, Kafka, Zookeeper, Kudu, Accumulo, Flume, Sqoop, Sentry 等。CDH 还提供了用于 CDH 集群管理的 Cloudera Manager 以及用于数据管理的 Cloudera Navigator 。
  目前Hadoop比较流行的主要有2个版本,Apache和Cloudera版本。
  • Apache Hadoop:社区人员比较多,更新频率比较快,但是稳定性比较差,安装配置繁琐,实际使用者少。
  • Cloudera Hadoop(CDH):Cloudera公司的发行版本,基于Apache Hadoop的二次开发,优化了组件兼容和交互接口、简化安装配置、提供界面统一管理程序


二、部署简介
     1、本次环境部署完成了HDFS + MR + Pig + Hive + Spark + Flume组件的测试环境, 并且datanode部分可⾃动拓展。
     2、组件部署架构图
           
      3、底层运行环境基于时速云平台企业版4.1+分布式ceph存储


三、部署步骤
     1、准备部署所需的基础镜像
          可以通过dockerhub获取以下镜像
                   1)windawings/cloudera-namenode:latest
                此镜像包含HDFS namenode 和 HDFS secondarynamenode服务
                服务端口:8020
                2)windawings/cloudera-yarnmaster:latest
                此镜像将会启动yarn resourcemanager和mapred historyserver
                服务端口:8032 8080
                3)windawings/cloudera-datanode:latest
                此镜像将会启动HDFS datanode和yarn-nodemanager
                服务端口:50020 50075 8042
                4)windawings/cloudera-edgenode:latest
                此镜像会启动flume
                5)loicmathieu/apache-httpd-flume:latest
                此镜像将用作启动CDH前端页面
                服务端口:80

     2、上传cdh部署基础镜像到时速云镜像仓库中
            上传镜像步骤可参考时速云PaaS平台操作文档。

     3、在时速云PaaS平台创建cdh部署项目
           租户管理员进行项目创建,租户管理——>项目管理——>创建项目,具体配置如下:
        

     4、创建cdh部署所需的配置文件
        参考此configmap配置文件;
        1)方法一:后台创建配置文件
           如果有后台权限,可以在master节点通过命令行来实现配置文件创建

      
  1. kubectl apply -f configmap.yaml
复制代码

        2)方法二:平台页面创建配置文件
        通过平台的配置组功能实现,具体步骤如下:
        a、创建配置组cloudera-config、flume-config
           

        b、创建配置文件( core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、flume.conf)
          具体的配置文件可以复制configmap.yaml文件中的对应字段
         

         c、完成配置文件的添加
         

         

         

      4、创建namenode服务
        1)首先创建namenode服务的headless service
         
         
          注意:service的select字段要与平台创建的namendoe名字一致
         

         2)通过平台部署namenode服务
           选择基础镜像
            
           服务详细配置:挂载存储到/hdfs/nm目录下、挂载配置组到/usr/lib/hadoop/etc/hadoop目录下,在环境变量中添加HOSTNAME,值为 nn-svc.cloudera.svc.cluster.local
            
            
            
         
         注意:如果在namenode服务启动过程中反复重启,可以调整服务的启动命令为
  1. supervisord -n -e debug
复制代码
                                              查看详细服务日志输出,如果日志报错内容如下
  1. java.io.IOException: NameNode is not formatted.
复制代码
         需要手动进入容器内部进行挂载纯纯的格式化,执行命令
  1. hadoop namenode -format
复制代码
   
      5、创建yarn服务
       1) 在平台上创建yarn服务,服务配置详情如下:        
         
         
         
         
         2)创建服务的headless的service
         
             service所需配置文件   
   
      6、创建datanode服务
        1)创建datanode服务的service
         
        2)创建datanode服务的statefulset
         
         
         datanode服务部署所需要的配置文件

      7、创建edgenode服务
       1)创建edgenode服务service         
      
       2)创建edgenode服务statefulset
      

         edgenode服务所需配置文件

      8、创建flume服务
       通过平台创建fluem服务
      


        

      9、服务验证      
        1)访问flume服务的80端口
        
        
        2)访问yarn服务的8088端口
         
      
        3)访问yarn服务的50070端口
      
      
      
        4)以上服务可以正常访问,至此cdh框架搭建完成







    参考资料:https://www.notion.so/_CDH_-b381c15bbad34f958e507208bacb0d4c














本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

HongXianJun

发表于 2020-6-5 10:31:14 | 显示全部楼层
学习
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关注时速云公众号

QQ|Archiver|云原生技术实践 | 时速云 ( 京ICP备14045471号 )

GMT+8, 2020-9-19 17:45 , Processed in 0.179878 second(s), 22 queries .

快速回复 返回列表