【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

2023-06-14 0 752

一、简述

Apache Ambari 是 Hortonworks 重大贡献给Apache开放源码街道社区的世界顶级工程项目,它是两个如前所述web的辅助工具,用作加装、实用性、管理工作和监视 Hadoop 软件产业。Ambari 现阶段已全力支持大多数 Hadoop 模块,主要就包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。

Apache Ambari 全力支持 HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop 和 Hcatalog 等的INS13ZD。也是 5 个世界顶级 hadoop 管理工作辅助工具众所周知。

Ambari 主要就获得了下列战绩:

透过一步棋一步的加装科水狼精简了软件产业供给。事先实用性好关键性的网络管理工作分项(metrics),能间接查阅 Hadoop Core(HDFS 和 MapReduce)及有关工程项目(如 HBase、Hive 和 HCatalog)与否身心健康。全力支持工作台与各项任务继续执行的建模与预测,能更快地查阅倚赖和操控性。透过两个完备的 RESTful API 把监视重要信息曝露出,软件系统了原有的网络管理工作辅助工具。使用者界面十分简单,使用者能随心所欲有效地查阅重要信息并掌控软件产业。

除此之外,Ambari 能加装安全可靠的(如前所述 Kerberos)Hadoop 软件产业,以同时实现了对 Hadoop 安全可靠的全力支持,提供更多了如前所述配角的使用者证书、许可和审计工作机能,并为使用者管理工作软件系统了 LDAP 和 Active Directory。

GitHub门牌号:https://github.com/apache/ambari非官方门牌号:https://ambari.apache.org/Ambari WIKI:https://cwiki.apache.org/confluence/display/AMBARI/AmbariHortonworks街道社区:https://community.hortonworks.com/index.htmlhttps://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-operations/content/ch_Overview_hdp-ambari-user-guide.html​
【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【温馨提示】

从2021年1月开始,ambari 开始收费了,如果想使用 ambari

,要么如前所述源码自己编译

https://ambari.apache.org/,

要么给钱下载

https://www.cloudera.com/products/open-source/apache-hadoop/apache-ambari.html

二、 Ambari 与 HDP 关系

Ambari和HDP(Hortonworks Data Platform)是用作管理工作和网络管理工作Hadoop软件产业的两个关键性模块。

Ambari是两个开放源码的软件产业管理工作辅助工具,提供更多了两个简单的Web界面,用作精简Hadoop软件产业的实用性、管理工作和监视。透过Ambari,管理工作员能随心所欲地进行软件产业部署、服务实用性、扩展和监视。它还提供更多了一些高级机能,如自动服务恢复、告警管理工作和权限掌控等。HDP是Hortonworks提供更多的两个完备的数据平台,如前所述开放源码的Apache Hadoop生态系统构建而成。它包含了一系列的核心模块,如HDFS(Hadoop分布式文件系统)、YARN(Yet Another Resource Negotiator)、MapReduce、Hive、HBase、Spark、Pig等。HDP透过软件系统这些模块,为使用者提供更多了两个稳定、可靠和易于管理工作的Hadoop平台。AmbariHDP 之间的关系是,Ambari作为两个软件产业管理工作辅助工具,能用作管理工作和网络管理工作HDP所构建的Hadoop软件产业。透过Ambari,管理工作员能在HDP软件产业上进行各种操作,如添加/删除节点、实用性服务参数、监视软件产业身心健康状态等。同时,Ambari还提供更多了一些附加机能,如服务自动发现、日志聚合和建模等,以提高Hadoop软件产业的可管理工作性和建模性。

总结起来,Ambari是用作管理工作和网络管理工作Hadoop软件产业的辅助工具,而HDP是两个完备的数据平台,如前所述Hadoop生态系统构建而成。Ambari能用作管理工作和操作HDP软件产业,提供更多了一种精简和集中化的方式来管理工作Hadoop软件产业中的服务和模块。【温馨提示】CDH 和 HDP 都已经开始收费了。

简单来讲就是 Ambari 好比 CDH 中的Cloudera managerHDP 就如 CDH 一样。如想了解CDH的小伙伴能观看我这篇文章:大数据 Cloudera Hadoop(CM 6.3.1+CDH 6.3.2环境部署)

三、Ambari 与 Cloudera manager 的对比

Ambari 和 Cloudera Manager 都是用作管理工作和监视Hadoop软件产业的辅助工具,它们在机能和特点上有一些区别。下列是Ambari和Cloudera Manager之间的一些对比:

1)开放源码性

Ambari:Ambari是两个开放源码工程项目,由Apache软件基金会进行开发和维护。Cloudera Manager:Cloudera Manager是Cloudera公司的产品,它是如前所述开放源码Hadoop分发版本构建的,但Cloudera Manager本身不是开放源码的。

2)全力支持的发行版

Ambari:Ambari能与各种Hadoop发行版软件系统,主要就包括Apache Hadoop、Hortonworks Data Platform(HDP)和IBM Spectrum Scale。Cloudera Manager:Cloudera Manager主要就用作管理工作Cloudera发行版(Cloudera Distribution including Apache Hadoop,CDH)。

3)使用者界面

Ambari:Ambari提供更多了两个简单的Web界面,用作实用性、管理工作和监视Hadoop软件产业。它的界面相对简洁,易于使用。Cloudera Manager:Cloudera Manager也提供更多了两个Web界面,但它更加详细和机能丰富。它提供更多了更多的软件产业管理工作和调优机能,适用作大型和复杂的软件产业环境。

4)机能和扩展性

Ambari:Ambari提供更多了基本的软件产业管理工作机能,例如模块加装、SQLite、监视和警报。它还全力支持Ambari Views,允许使用者透过自定义视图扩展和定制机能。Cloudera Manager:Cloudera Manager提供更多了广泛的软件产业管理工作和网络管理工作机能,主要就包括自动化加装、SQLite、故障排除、操控性优化等。它还全力支持一些高级特性,例如数据备份和恢复、Kerberos软件系统、高可用性实用性等。

5)街道社区全力支持和生态系统

Ambari:Ambari是Apache软件基金会的工程项目,拥有庞大的开放源码街道社区全力支持和活跃的开发者街道社区。它与其他Apache生态系统工程项目有良好的软件系统。Cloudera Manager:Cloudera Manager作为Cloudera公司的产品,提供更多了商业全力支持和服务,并与Cloudera的其他产品和解决方案软件系统。

综上所述,Ambari和Cloudera Manager都是机能强大的软件产业管理工作辅助工具,但它们在开放源码性、全力支持的发行版、使用者界面、机能和生态系统等方面存在一些区别。选择适合的辅助工具取决于你的具体需求、软件产业规模和技术栈。

四、Apache Ambari 术语

Service(服务):Service是指 Hadoop 堆栈中的服务。 HDFS、HBase 和 Zookeeper等是服务的⽰例。⼀个服务可能有多个模块(例如,HDFS 有 NameNode、Secondary NameNode、DataNode 等)。服务也能只是⼀个客⼾端(例如,Pig没有任何守护程序服务,但只有⼀个客⼾端库)Component(模块):Service由⼀个或多个Component组成。例如,HDFS 有 3 个模块:NameNode、DataNode 和 Secondary NameNode。模块可能是可选的。⼀个模块能跨越多个节点(例如,多个节点上的 DataNode 实例)。Node/Host(节点):Node/Host是指软件产业中的⼀台机器。Node-Component(节点模块):Node-Component是指特定节点上的模块实例。例如,特定节点上的特定 DataNode 实例是节点模块。Operation(操作):Operation是指在软件产业上继续执行的⼀组更改或操作,以满⾜⽤⼾请求或在软件产业中同时实现所需的状态更改。例如,启动服务是⼀项操作,运行冒烟测试是⼀项操作。如果⽤⼾请求向软件产业添加新服务并且还主要就包括运行冒烟测试,那么满⾜⽤⼾请求的整个操作集将构成⼀个操作。Task(各项任务):Task是发送到节点继续执行的⼯作单元。Task是节点作为Action的⼀部分的⼯作。例如,“Action”能主要就包括在节点 Node1上加装DataNode,在节点 Node2 上加装DataNode和SNameNode。在这种情况下,Node1 的“各项任务”将是加装⼀个DataNode,⽽ Node2的“各项任务”将是加装⼀个DataNode和⼀个SNameNode。Stage(阶段):Stage是指完成⼀项操作所需的⼀组各项任务,并且相互独⽴;同⼀阶段的所有各项任务都能跨不同节点并行运行。Action(动作):Action由⼀台机器或⼀组机器上的⼀个或多个各项任务组成。每个动作都有动作 id 跟踪,并且节点⾄少在动作的粒度上报告状态。⼀个动作能被认为是⼀个正在继续执行的阶段。Stage Plan(阶段计划):⼀个操作通常由不同机器上的多个各项任务组成,它们通常具有倚赖关系,要求它们以特定顺序运行。有些各项任务需要先完成,然后才能安排其他各项任务。因此,⼀个操作所需的各项任务能划分为多个阶段,每个阶段必须在下⼀个阶段之前完成,但同⼀阶段的所有各项任务能跨不同节点并行调度。Manifest(清单):Manifest是指发送到节点继续执行的各项任务的定义。清单必须完全定义各项任务并且必须是可序列化的。清单也能保存在磁盘上以进行恢复或记录。Role(⻆⾊):Role映射到模块(例如,NameNode、DataNode)或操作阶段计划(例如,HDFS rebalancing、HBase smoke test、其他管理工作命令等)

五、Apache Ambari 核心模块介绍

Apache Ambari是两个开放源码的软件产业管理工作辅助工具,用作精简、管理工作和监控Hadoop生态系统中的大数据软件产业。它提供更多了两个简单的Web界面,使使用者能随心所欲地实用性、部署和管理工作Hadoop软件产业的核心模块。下面是Ambari的一些核心模块的介绍:

Ambari Server:Ambari Server是Ambari的主要就模块,负责整个软件产业的管理工作和掌控。它提供更多了两个Web界面,允许管理工作员实用性和监视软件产业的各个方面。Ambari Server负责收集和显示有关软件产业的重要信息,以及在需要时继续执行操作,例如加装、启动、停止和升级模块。Ambari Agent:Ambari Agent是在软件产业中每个主机上运行的代理程序。它负责与Ambari Server通信,并继续执行Ambari Server下发的命令。Ambari Agent在各个主机上加装和管理工作模块,收集主机的分项数据,并将其发送给Ambari Server进行监视和预测。Ambari Web:Ambari Web提供更多了两个使用者友好的Web界面,允许管理工作员和操作员间接与Ambari交互。透过Ambari Web,使用者能随心所欲地实用性和管理工作软件产业的各个方面,主要就包括添加/删除主机、加装/升级模块、实用性服务和管理工作使用者权限等。Ambari Database:Ambari Database是Ambari Server使用的后端数据库,用作存储软件产业的元数据和实用性重要信息。常见的数据库选项主要就包括MySQL、PostgreSQL和Oracle。Ambari Database存储有关软件产业拓扑、模块实用性、主机重要信息和使用者权限等的数据。Ambari Metrics:Ambari Metrics模块负责收集和存储软件产业的分项数据。它使用开放源码的时间序列数据库,例如Apache HBase或Apache Phoenix,将各个模块和主机的分项数据持久化存储起来。Ambari Metrics还提供更多了两个Web界面,用作查阅和预测软件产业的分项数据。Ambari Views:Ambari Views是Ambari的插件机制,允许使用者透过自定义视图扩展Ambari的机能。它提供更多了一种可扩展的方式,允许使用者根据自己的需求添加和软件系统自定义的Web界面或应用程序。

这些是Ambari的一些核心模块,它们共同协作,使使用者能方便地管理工作和监视Hadoop软件产业的各个方面。透过Ambari,使用者能精简软件产业管理工作各项任务,并提供更多建模的界面来监视软件产业的运行状况和操控性。

六、Apache Ambari 架构

Ambari框架采用的是Server/Client的模式,主要就由两部分组成:ambari-agentambari-server 。ambari倚赖其它已经成熟的辅助工具,例如其ambari-server 就倚赖 python ,而 ambari-agent 还同时倚赖ruby, puppetfacter等辅助工具,还有它也倚赖一些监视辅助工具 nagiosganglia 用作监视软件产业状况。

Ambari-server:主要就管理工作部署在每个节点上的管理工作监视程序。Ambari-agent:部署在监视节点上运行的管理工作监视程序。ambari-web:作为使用者与 Ambari server 交互的。
【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

1)Ambari-agent 内部架构

Ambari-agent是两个无状态的,其机能分两部分:

采集所在节点的重要信息并且汇总发送心跳发送汇报给ambari-server。处理ambari-server的继续执行请求。

因此它有两种队列:

消息队列 Message Queue,或称为 ResultQueue。主要就包括节点状态重要信息(主要就包括注册重要信息)和继续执行结果重要信息,并且汇总后透过心跳发送给ambari-server。操作队列 ActionQueue。用作接收 ambari-server 发送过来的状态操作,然后交给继续执行器调用puppet或Python脚本等模块继续执行各项任务。
【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

2)Ambari-server 内部架构

三种状态:

Live Cluster State:软件产业原有状态,各个节点汇报上来的状态重要信息会更改该状态;Desired State:使用者希望该节点所处状态,是使用者在页面进行了一系列的操作,需要更改某些服务的状态,这些状态还没有在节点上产生作用;Action State:操作状态,是状态改变时的请求状态,也能看作是一种中间状态,这种状态能辅助 LiveCluster StateDesired State 状态转变。
【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)
Heartbeat Handler模块用作接收各个agent的心跳请求(心跳请求里面主要就包含两类重要信息:节点状态重要信息和返回的操作结果),把节点状态重要信息传递给FSM状态机去维护着该节点的状态,并且把返回的操作结果重要信息返回给Action Manager去做进一步棋的处理。Coordinator模块又能称为API handler,主要就在接收WEB端操作请求后,会检查它与否符合要求,stageplanner分解成一组操作,最后提供更多给ActionManager去完成继续执行操作。

因此,从上图就能看出,Ambari-Server的所有状态重要信息的维护和变更都会记录在数据库中,使用者做一些更改服务的操作都会在数据库上做一些相应的记录,同时,agent透过心跳来获得数据库的变更历史。

3)Ambari-web 内部架构

Ambari-web 使用了两个流行的前端 Embar.js MVC 框架同时实现,Embar.js 是两个 TodoMVC框架,它涵盖了现今典型的单页面应用(single page application)几乎所有的行为。使用了nodejs。使用 brunch 作为工程项目的构建管理工作辅助工具。

Brunch是两个超快的HTML5构建辅助工具。它有如下机能:

编译你的脚本、模板、样式、链接它们。将脚本和模板封装进common.js/AMD模块里,链接脚本和样式。为链接文件生成源地图,复制资源和静态文件。透过缩减代码和优化图片来收缩输出,看管你的文件更改。并透过掌控台和系统提示通知你错误。

Nodejs 是两个如前所述Chrome JavaScript 运行时建立的两个平台,用来方便的搭建快速的易于扩展的网络应用,NodeJS借助事件驱动,非阻塞I/O模型变得轻量和高效,十分适合运行在分布式设备的数据密集型的实时应用。

1、Ambari-web 目录结构

目录或文件

描述

app/

主要就应用程序代码。主要就包括Ember中的view、templates、controllers、models、routes

config.coffee

Brunch应用程序生成器的实用性文件

package.json

Npm包管理工作实用性文件

test/

测试文件

vendor/

Javascript库和样式表适用第三方库。

2、Ambari-web/app/

目录或文件

描述

assets/

静态文件

controllers/

掌控器

data/

数据

mappers/

JSON数据到Client的Ember实体的映射

models

MVC中的Model

routes/

路由器

styles

样式文件

views

试图文件

templates/

页面模板

app.js

Ember主程序文件

config.js

实用性文件

七、Apache Ambari 加装

1)前期准备

1、机器重要信息

IP

主机名

配角

192.168.182.110

local-168-182-110

master

192.168.182.111

local-168-182-111

slave

192.168.182.112

local-168-182-112

slave

2、实用性 /etc/hosts

192.168.182.110 local-168-182-110 192.168.182.111 local-168-182-111 192.168.182.112 local-168-182-112

3、实用性互信

### 在master节点上生成公钥 ssh-keygen -t rsa -P “” ### 参数解释: # -t 参数表示生成算法,有rsa和dsa两种; # -P表示使用的密码,这里使用””空字符串表示无密码。 cd~/.ssh cat id_rsa.pub >> authorized_keys ssh-copy-id -i ~/.ssh/id_rsa.publocal-168-182-111 ssh-copy-id -i ~/.ssh/id_rsa.pub local-168-182-112

4、实用性时间同步(十分重要)

yum install chrony -y # 实用性 echo server ntp1.aliyun.com iburst >> /etc/chrony.conf systemctl start chronyd systemctl enable chronyd # 查阅时间同步情况 chronyc sources -v

5、关闭防火墙

systemctl disable firewalld systemctl stop firewalld

6、禁用 SELINUX

# 临时关闭 setenforce 0 # 永久禁用 sed -i s/^SELINUX=enforcing$/SELINUX=disabled/ /etc/selinux/config

2)加装 JDK

官网下载:https://www.oracle.com/java/technologies/downloads/

百度云下载

链接:https://pan.baidu.com/s/1-rgW-Z-syv24vU15bmMg1w

提取码: 8888# 编辑/etc/profile,文末插入下列内容: # set java exportJAVA_HOME=/usr/java/jdk1.8.0_212export PATH=$JAVA_HOME/bin:$PATH

加载生效

source /etc/profile

3)加装 mysql

如果想快速加装MySQL,仅仅只是学习或测试用,能参考我这篇透过docker部署MySQL的文章:透过 docker-compose 快速部署 MySQL保姆级教程

# 登录mysql mysql-uroot -p12346

大数据与云原生技术分享hdp

其中加装包说明:

Ambari:WEB应用程序,后台为Ambari Server,负责与HDP部署的软件产业工作节点进行通讯,软件产业掌控节点主要就包括Hdfs,Spark,Zk,Hive,Hbase等等。HDP:HDP包中包含了很多常用的辅助工具,比如Hadoop,Hive,Hbase,Spark等HDP-UTIL:是HDP的另两个软件包,它包含了一些额外的实用辅助工具和服务,用作增强HDP的机能和管理工作能力。这些实用辅助工具和服务能与HDP软件产业一起使用,以提供更多更多的机能和辅助工具全力支持。HDP-GPL:是HDP的一部分,它包含了HDP中使用的开放源码软件的源代码,这些软件遵循GPL(GNU通用公共许可证)或其他开放源码许可证。

5)加装 httpd 搭建本地加装源

### 1、加装httpd yum -y install httpd ### 2、在/var/www/html下创建ambari和hdp目录 cd /var/www/html/ mkdir ambari ### 3、上传资源包 # 上传ambari-2.7.5.0-centos7.tar、HDP-3.1.5.0-centos7-rpm.tar、HDP-GPL-3.1.5.0-centos7-gpl.tar、HDP-UTILS-1.1.0.22-centos7.tar ### 4、解压到指定目录 tar -zxvf /opt/apache/ambari/ambari-2.7.5.0-centos7.tar -C /var/www/html/ambari/ tar -zxvf /opt/apache/ambari/HDP-3.1.5.0-centos7-rpm.tar -C /var/www/html/ambari/ tar -zxvf /opt/apache/ambari/HDP-GPL-3.1.5.0-centos7-gpl.tar -C /var/www/html/ambari/ tar -zxvf /opt/apache/ambari/HDP-UTILS-1.1.0.22-centos7.tar -C /var/www/html/ambari/ ### 5、启动httpd systemctl restart httpd

web访问:

现在能透过访问http://192.168.182.110/ambari/查阅与否能成功访问

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

6)实用性Ambari+HDP本地yum源

1、 加装本地源制作有关辅助工具

yum install-y yum-utils createrepo yum-plugin-priorities

2、实用性 ambari.repo

# /etc/yum.repos.d/ambari.repo #VERSION_NUMBER=2.7.5.0-72 [ambari-2.7.5.0] #json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json name=ambari Version – ambari-2.7.5.0 baseurl=http://192.168.182.110/ambari/ambari/centos7/2.7.5.072/ gpgcheck=1 gpgkey=http://192.168.182.110/ambari/ambari/centos7/2.7.5.072/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1

3、实用性 hdp.repo

# /etc/yum.repos.d/hdp.repo #VERSION_NUMBER=3.1.5.0-152 [HDP-3.1.5.0] name=HDP Version – HDP-3.1.5.0 baseurl=http://192.168.182.110/ambari/HDP/centos7/3.1.5.0152/ gpgcheck=1 gpgkey=http://192.168.182.110/ambari/HDP/centos7/3.1.5.0152/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1 [HDP-UTILS-1.1.0.22] name=Hortonworks Data Platform Utils Version – HDP-UTILS-1.1.0.22 baseurl=http://192.168.182.110/ambari/HDP-UTILS/centos7/1.1.0.22/ gpgcheck=1 gpgkey=http://192.168.182.110/ambari/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins enabled=1 priority=1

4、将创建好的文件拷贝到子节点

scp /etc/yum.repos.d/ambari.repo192.168.182.111:/etc/yum.repos.d/ scp /etc/yum.repos.d/hdp.repo 192.168.182.111:/etc/yum.repos.d/ scp /etc/yum.repos.d/ambari.repo 192.168.182.112:/etc/yum.repos.d/ scp /etc/yum.repos.d/hdp.repo192.168.182.112:/etc/yum.repos.d/

最后继续执行

yum clean all && yum makecache

6)开始加装 ambari

1、加装 ambari-server

yum -y install ambari-server

2、创建使用者和数据库

#在mysql上创建 database ambari;mysql -uroot -p123456# 创建数据库 create database ambari; create database ambari character set utf8 ; CREATE USER ambari@%IDENTIFIED BY ambari; GRANT ALL PRIVILEGES ON ambari.* TO ambari@%; FLUSH PRIVILEGES; # 创建数据库 create database hive; #创建 hive使用者 create database hive character set utf8 ; CREATE USER hive@%IDENTIFIED BY hive; GRANT ALL PRIVILEGES ONhive.*TO hive@%; FLUSH PRIVILEGES; # 创建 oozie 使用者 create database oozie character set utf8 ; CREATE USER oozie@%IDENTIFIED BY oozie; GRANT ALL PRIVILEGES ON *.* TO oozie@%; FLUSH PRIVILEGES;

3、将Ambari数据库脚本导入到数据库

#在mysql上创建 database ambari; mysql -uroot -p123456 use ambari; source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

4、下载mysql驱动

下载门牌号:https://repo1.maven.org/maven2/mysql/mysql-connector-java/

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.39/mysql-connector-java-5.1.39.jar mkdir /usr/share/java cp mysql-connector-java-5.1.39.jar /var/lib/ambari-server/resources/ cp mysql-connector-java-5.1.39.jar /usr/share/java/ cp mysql-connector-java-5.1.39.jar /usr/lib/ambari-server/

5、实用性 ambari-server

[root@local-168-182-110 ambari]# ambari-server setupUsing python /usr/bin/python Setup ambari-server Checking SELinux… SELinux status is disabled Customize user account for ambari-server daemon [y/n] (n)? y Enter user account for ambari-server daemon (root):root Adjusting ambari-server permissions and ownership… Checking firewall status… Checking JDK… [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8 [2] Custom JDK ============================================================================== Enter choice (1): 2 WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts. WARNING: JCE Policy files are required for configuring Kerberos security. If you plan touseKerberos,please make sure JCEUnlimited Strength Jurisdiction Policy Files are valid on all hosts. Path to JAVA_HOME: /opt/jdk1.8.0_212 Validating JDKon Ambari Server…done. Check JDK version for Ambari Server… JDK version found: 8 Minimum JDK version is 8 for Ambari. Skipping to setup different JDK forAmbari Server. Checking GPL software agreement… GPL Licensefor LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html Enable Ambari Server to download and installGPL Licensed LZO packages [y/n] (n)? y Completing setup… Configuring database… Enteradvanced databaseconfiguration [y/n] (n)? y Configuring database… ==============================================================================Choose one ofthefollowing options: [1] – PostgreSQL (Embedded) [2] – Oracle [3] – MySQL / MariaDB [4] – PostgreSQL [5] – Microsoft SQL Server (Tech Preview) [6] – SQL Anywhere [7] – BDB ============================================================================== Enter choice (1): 3Hostname (localhost):192.168.182.110 Port (3306): 13306 Database name(ambari): Username (ambari): ambari EnterDatabase Password (bigdata): Re-enter password: Configuring ambari database… Enter full path to custom jdbc driver: /usr/share/java/mysql-connector-java-5.1.39.jar Configuring remote database connection properties… WARNING: Before starting Ambari Server, you must run the following DDLdirectlyfrom the database shell to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql Proceedwith configuring remote database connection properties [y/n] (y)? y Extracting systemviews… ambari-admin-2.7.5.0.72.jar …. Ambari repo file contains latest json url http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json, updating stacks repoinfos withit… Adjusting ambari-server permissions and ownership… Ambari Server setup completed successfully.

6、启动 ambari

ambari-serverstart

注意:如果出现Server not yet listening on http port 8080 after 50 seconds. Exiting异常继续执行下列语句:

echo server.startup.web.timeout=120 >> /etc/ambari-server/conf/ambari.properties

浏览器访问: http://192.168.182.110:8080/默认登录使用者:admin,密码:admin

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

7)透过 Ambari Web UI 部署大数据模块

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第一步棋】设置软件产业名称

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第二步】实用性本地镜像仓库

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)
【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第三步】输入软件产业节点host(FQDN)和Ambari-Server节点SSH的私钥

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

因为机器资源有限,只启动了两个节点

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第四步】选择需要加装的大数据模块

因我电脑资源有限,就选择了两个了。小伙伴根据需要选择对应的大数据模块。

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第五步】Assign Masters

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第六步】Assign Slaves and Clients

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第七步】Customize Services

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第八步】Review

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第九步】Install, Start and Test

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)
【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

【第十步】Summary

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

到此部署就完成了,下面就是Hadoop生态模块的监视面板。

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

到这里 大数据 Hadoop 管理工作辅助工具 Apache Ambari 部署以及透过 Ambari 部署大数据模块教程就结束了大数据与云原生技术分享hdp

【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务