本文共 2373 字，大约阅读时间需要 7 分钟。
引言
目前市场上主流的大数据平台以CDH和HDP两种为主，而两种大数据平台都是基于Apache原生态版本改进的，HDP版本的更贴近于原生态版本，开源率100%，基本上支持所有的开源大数据组件。CDH版本大数据平台经过二次开发与原生态版本有较大差异，且在2018年已经闭源，但市场占有率较大。以上两种大数据平台都仅支持x86架构，早在几年期RedHat联手cloudera公司发表声明将推出64位ARM版，据悉目前Centos7.5以上版本系统已经支持arm架构，cloudera公司产品未见推出arm机构大数据平台，且Cloudera和Hortonworks合并后的CDH和HDP版本都无法下载，猜测开始进行收费。目前Cloudera官方最新大数据平台CDP是CDH与HDP两个产品合并后的新产品，之前有咨询官方客服，收到回复最新版HDP支持arm架构，但无法下载。
以下为各个版本支持架构
| 产品 | 支持架构 | 是否收费 |
|---|---|---|
| CDH | x86 | 6.3版本后需从官方下载 |
| HDP | x86、Power 8、Power 9 | 官方最新3.1.5，githup最新2.7.5 |
| HD（华为） | x86、arm（已知） | 是 |
| TDH（星环） | x86、arm（已知） | 是 |
| CRH（红象云腾） | x86、arm（已知） | 是 |
介绍
Ambari是Apache Software Foundation中的一个顶级项目，它可以创建、管理、监视Hadoop整个生态圈（例如Hive、Hbase、Sqoop、ZooKeeper等）的集群，使得Hadoop以及相关的大数据软件更容易使用。
Ambari是一个分布式架构的软件，由Ambari Server和Ambari Agent两部分组成，用户可通过Ambari Server通知Ambari Agent安装对应的软件，Ambari Agent会定时地发送各个机器每个软件模块的状态给Ambari Server，最终这些状态信息会呈现在Ambari的GUI界面上，方便用户了解到集群的各种状态，并进行相应的维护。编译心得
感言
自从接到在ARM64架构上编译ambari的任务陆陆续续研究尝试了近一年，从最初的Kylin V4系统到目前的Kylin V10系统，从FT1500A到FT2000+，从当初的两个人到六个人的团队，大家一步一步摸索前进，团队6人全部由运维组成，但每个人都有自己的长处，涉及到硬件（bios升级）、网络、系统、虚拟化、Python开发等多方面，正是集合了团队所有人的力量最终完成了ambari适配及汉化和自定义托管服务的总体工作。
同时也要感谢领导的信任和团队所有成员的配合、支持，给了我这样一个带队的机会，对于我个人成长也是非常难得提升，让我从一个普通实施运维提升到如今带队者。技术路线
V4系统（ARM64）
最初我们是想基于Kylin V4系统适配ambari，原因是V4是基于ubuntu16改造的系统相对稳定，其次对于我们来说熟悉度也很高，于是在参考了网上编译文章后开始了编译道路（Kylin V4相关文档大家可以参考我的博客），经过大概两个月努力最终成功在V4上安装上了ambari2.6，但是在安装过程中问题很多，最终只是实现了ambari-server和ambari-agent的安装，HDP组件包并没有编译因为太多了。。。
最终就是这样子V10系统（ARM64）
后续随着团队规模壮大，以及产品需要，于是乎又开始了新一轮的适配工作。这次是基于Kylin V10系统，之所以选用这个系统首先是大环境问题，集团内部和发布会都在宣传这个系统，所以后续会主推这个系统。其次，这个系统是基于红帽体系的系统，对于我们来说更加友善，而且最重要的原因是华为基于鲲鹏已经适配了一版HDP3.1，那么我们是不是可以直接拿来用了？？
于是，我们又开始吭哧吭哧的适配道路，然后就是各种天坑的道路。总结几点大坑：- 鲲鹏虽然也是ARM64架构，但是系统是基于Centos7的系统，而麒麟V10的稳定版本Build06这个版本，它的内核版本竟然是4.19。。。这意味什么？Centos7内核版本在3.10以上，Centos8内核版本在4.18以上，所以这个系统神坑。。，要知道ambari官方也只是支持到Centos7，可能那时候还没有8，不过这确实是个挑战。
- 华为的泰山服务器上的系统版本应该还是Centos7的这么一个名称，而麒麟kyinfo中系统名称就是Kylin。。。，关键是ambari中也没有这一个选项啊，如果改动源码工作量也很大，而且核心代码都是java写的，只有采集端和系统识别相关部分是Python写的，关键是我们团队中没有会java的，于是这条路就走不通了，那么如何解决？？又是坑。。。
- 第三个坑是我们发现通过ambari安装HDP的时候，填入本地源的url地址后总是找不到HDP相关安装包，当然这个问题我们在V4上编译安装时候就遇到过，当时也是看了很长时间python源码，这次又遇到这个问题，头疼啊。。。 当然，以上问题我们都陆陆续续解决啦
后续我们又集成了Hue4.2，es，redis等一些大数据相关组件，还有汉化。。。反正杂七杂八好多东西。当然坑是少不了的，网上的一些博客大都是抄来抄去，实在是无法借鉴。
成果
中间的安装过程就不再叙述了，大概思路都一样，展示一下团队成果
汉化
参考以下链接
https://blog.csdn.net/tancongcong/article/details/94382511
集成Hue
自定义集成机器学习框架（前提是适配框架）
参考我的机器学习框架适配博客
结束语
希望GC生态越来越完善，同时也希望越来越多的技术大佬参与到生态建设中来，共同学习交流。
转载地址：https://blog.csdn.net/YYC1503/article/details/116448741 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！
发表评论
最新留言
关于作者
